Après les premiers tests, on commence à assembler les briques. Mouvement, tracking, lumière, projection… et forcément, tout devient plus fragile.

Tout mettre ensemble : mauvaise idée… donc excellente

15 octobre 2023 -NGCStudio. Jusqu’ici, j’avais testé les choses séparément. Le fond vert, le mouvement avec le tapis, la lumière liée au décor, Unreal… chaque brique fonctionnait à peu près dans son coin. Là, l’idée est simple : tout additionner. Pas pour faire un test, mais pour faire un clip. TitFreaks arrive avec un morceau assez introspectif. Un texte sur le fait d’avancer, de grandir, de traverser des périodes. Ça tombe bien : le projet peut porter une progression visuelle. On part sur un plan séquence, une continuité, sans découpage pour tricher.

Je construis les environnements dans Unreal, en allant chercher des assets gratuits pour aller vite. L’objectif n’est pas de tout modéliser, mais de tester un rendu cohérent. On part sur quelque chose de post-apocalyptique, avec un ciel chargé, des orages en fond, une ambiance un peu suspendue. Le tournage commence dans le réel : un salon, un personnage qu’on suit, une préparation. Puis on bascule progressivement vers le studio. Le fond vert est là, visible. Et à mesure que le plan avance, il se transforme. Ce qui est intéressant, ce n’est pas le résultat final : c’est la transition.

Le fond vert… projeté

Gros changement sur ce tournage : le fond vert n’est plus seulement un tissu. Le vidéoprojecteur est assez puissant pour projeter un fond vert exploitable sur une surface plane, au moins en plan américain. La lumière est étonnamment régulière, et les reflets restent maîtrisés si on garde un peu de distance. Ça ouvre une possibilité intéressante :

• moins d’installation
• une surface plus propre
• une lumière homogène

Et surtout, une meilleure séparation avec le sujet. C’est encore limité, mais suffisamment fiable pour être utilisé dans ce contexte.

Tracking : l’iPhone comme capteur

Autre évolution : le tracking. Je teste une solution basée sur l’iPhone et son LiDAR. L’idée est d’utiliser les capteurs du téléphone pour récupérer la position et les mouvements dans l’espace, et les transmettre à Unreal. En théorie, ça permet de : suivre les déplacements, adapter le décor en fonction et renforcer la cohérence des perspectives En pratique, ça fonctionne… mais pas parfaitement. Le tracking est prometteur, mais sensible. Un léger décalage, une latence, et l’illusion se dégrade. On sent que ça peut marcher, mais que ce n’est pas encore totalement fiable pour un usage fluide. Quoi que !

Simplifier là où c’est possible

Pour la lumière, je fais un choix inverse. Plutôt que de piloter en direct depuis Unreal, je passe par Sunlite. Trois scènes lumineuses, pensées en amont pour correspondre aux décors. On switch entre elles au bon moment. C’est moins “magique”, mais beaucoup plus stable. Et surtout, ça permet de garder une cohérence sans ajouter une couche de complexité supplémentaire.

Mouvement, enfin… presque

Le tapis de marche revient. Cette fois, intégré dans un vrai plan. On passe par plusieurs phases : statique, déplacement réel et simulation de marche, puis position finale. À la fin, TitFreaks se retrouve assis, dans un décor qui n’existe pas physiquement. Une vallée, un ciel orageux, des éléments qui flottent. Entre-temps, une équipe est passée dans le cadre pour déplacer des éléments, ajuster, transformer le plateau. Tout se fait à vue.

Assembler toutes les briques ne rend pas le système plus puissant : ça le rend plus exigeant. Chaque élément fonctionne, mais leur combinaison amplifie les défauts :

• tracking encore instable
• transitions délicates
• cohérence lumière / décor à maintenir
• précision des mouvements

On ne peut plus se contenter de “ça marche à peu près”. Ce projet ne valide pas une méthode : il montre plutôt où sont les limites actuelles. Mais aussi une chose importante : on commence à s’approcher d’un point où tout peut dialoguer. Le réel, le virtuel, le mouvement, la lumière. Pas encore parfaitement, mais suffisamment pour continuer.

L’article Production virtuelle 3.2 : quand tout se met à bouger est apparu en premier sur NGCLab.fr.

Plusieurs vidéos backstage de ce projet arrivent bientôt sur la chaine YouTube !

L’article Tests production virtuelle avec Miguelan ! est apparu en premier sur NGCLab.fr.

Un clip, un fond vert, et une journée pour tester un pipeline qui n’existait pas encore vraiment… mais dont on pressent déjà le potentiel.

Un projet ouvert, pensé comme un terrain d’expérimentation

16 août 2021 — Tournage de clip au studio. Le projet Rouge Sang d’Ashéo s’inscrit dans l’univers de son album Cosmos. Avec Mathieu Ribeiro à la réalisation, l’intention est claire : produire un clip, mais aussi profiter du cadre pour tenter des choses. De mon côté, je travaille déjà sur des premières pistes autour de la production virtuelle. L’idée n’est pas encore figée, mais une direction se dessine : utiliser Unreal Engine pour concevoir des environnements, et y intégrer des plans tournés sur fond vert. On aligne les deux approches. Pas de pression de résultat. Si certains plans ne fonctionnent pas, ils ne seront simplement pas utilisés. Mais chaque test doit apporter quelque chose.

La production virtuelle, version “labo”

On est encore loin d’un setup type plateau LED complet comme sur certaines productions cinéma. Ici, on est sur une version accessible, bricolée, mais structurée. Le principe reste le même :

• tourner un sujet réel sur fond vert
• créer un environnement dans Unreal Engine
• intégrer le sujet dans cet environnement
• travailler la cohérence globale (lumière, perspective, ambiance)

Unreal n’est pas encore utilisé pour du rendu final en temps réel, mais il joue déjà un rôle central : prévisualisation, direction artistique, référence pour la lumière.

Mise en place du plateau

Le tournage se fait sur une seule journée, avec un setup volontairement simple :

• fond vert en deux pans + sol
• installation textile sur le plateau
• plans fixes uniquement
• éclairage adapté pour faciliter le keying

Le fond vert n’est pas encore optimisé. On est sur une installation temporaire, avec ses limites : uniformité imparfaite, installation longue, réglages sensibles. Mais suffisant pour valider les bases.

Trois configurations pour structurer les tests

Plutôt que d’improviser plan par plan, on définit trois types de scènes. Chacune permet de tester une dimension spécifique du pipeline.

1. Environnement post-apocalyptique “rouge sang”

Premier cas : intégrer Ashéo dans un décor entièrement virtuel. Unreal est utilisé pour créer un environnement inspiré d’un monde post-apocalyptique, avec une dominante rouge marquée, en cohérence avec le titre. Le tournage est pensé dès le départ pour cette intégration : cadrage, lumière, positionnement. L’objectif ici est fondamental : valider la chaîne complète : le tournage sur fond vert, puis le keying en post-production, suivi de l’intégration dans Unreal. On s’assure ensuite de la cohérence visuelle globale en post-production. C’est la base du pipeline. Si ce niveau ne fonctionne pas, rien ne tient derrière.

2. Cube LED virtuel et lumière synchronisée

Deuxième cas : connecter le virtuel au réel par la lumière. On simule dans Unreal un cube lumineux autour du sujet. Dans le studio, cette structure est reproduite avec des bandeaux LED positionnés autour d’Ashéo. Le système est le suivant :

• Unreal génère l’environnement visuel
• le flux est envoyé en NDI
• MadMapper le récupère
• les LED sont pilotées en Art-Net par MadMapper

Résultat : la lumière réelle correspond directement à ce qui est affiché dans le décor virtuel. On ne “recrée” plus la lumière en post. On la produit dès le tournage. C’est une étape clé vers une production virtuelle plus immersive.

3. Voiture virtuelle et espace contraint

Troisième cas : simuler un espace fermé crédible. On crée dans Unreal un environnement de type intérieur de voiture. Autour d’Ashéo, on installe des LED pixel capables de reproduire des variations lumineuses (passages, mouvements, changements d’ambiance). Même logique que pour le cube, mais avec une contrainte supplémentaire : donner l’illusion d’un espace réel, avec très peu d’éléments physiques. Ce type de plan permet de tester la cohérence spatiale, la crédibilité des reflets lumineux, et l’immersion dans un environnement réduit

Synchronisation lumière réel / virtuel

Le point central de cette journée reste la lumière. Le setup LED utilisé vient d’un autre projet en parallèle : une scénographie avec cadres LED pixel et barres, pilotée par des vidéos timecodées. On détourne ce système pour le tournage. Cadres LED + barres, piloté avec MadMapper. Il assure la réception du flux Unreal en NDI, et fait la conversion en Art-Net pour piloter l’éclairage. On obtient ainsi un lien direct entre environnement virtuel et éclairage réel. Même sans décor visible sur le plateau, le sujet est déjà “dans” son environnement.

Pipeline de production

Le workflow se structure naturellement :

• tournage sur fond vert (plans fixes)
• prévisualisation avec Unreal
• keying et intégration réalisés de mon côté
• export des plans intégrés
• montage final piloté par Mathieu Ribeiro

On est encore sur un pipeline hybride : Unreal pour la création, post-production pour l’intégration. Pas encore de temps réel complet, mais les bases sont là.

Limites techniques rencontrées

Comme tout setup expérimental, plusieurs limites apparaissent rapidement. Le fond vert difficile à uniformiser, et son installation est longue et peu flexible : le keying temps réel instable. Avec l’absence de tracking caméra, on subit encore beaucoup les contraintes de cadrage. Ces limites ne sont pas des blocages : elles définissent simplement les prochaines étapes.

Vers une infrastructure dédiée

Un constat s’impose pendant le tournage : ce type de production ne peut pas reposer sur un setup temporaire. Le fond vert devient un point critique. Pour obtenir un keying fiable – et envisager du temps réel – il faut :

• une surface parfaitement uniforme
• un éclairage stable et reproductible
• une installation permanente

L’idée d’un fond vert fixe, intégré au studio, n’est plus une option. Elle devient une évidence.

Vers le tracking et le temps réel

Avec des résultats déjà probants, la suite s’impose naturellement. Deux axes principaux : le tracking caméra, via HTC Vive ou ARKit sur iPhone. Le but est d’aller vers un pipeline temps réel plus fluide L’objectif n’est plus seulement d’intégrer après coup, mais de commencer à faire exister le décor pendant le tournage.

Rouge Sang n’est pas un projet de production virtuelle abouti. C’est mieux que ça. C’est un point de bascule. Un moment où plusieurs éléments (Unreal, LED, fond vert, pipeline) commencent à s’aligner. Où le studio devient autre chose qu’un espace de tournage : un outil capable de faire le lien entre réel et virtuel. Et comme souvent, ça commence par une journée de test… qui redéfinit la suite.

L’article Ashéo et Rouge Sang, premiers pas en production virtuelle est apparu en premier sur NGCLab.fr.