Arts Visuels

Production virtuelle 3.2 : quand tout se met à bouger

Mon premier clip en production virtuelle avec TitFreaks !

Après les premiers tests, on commence à assembler les briques. Mouvement, tracking, lumière, projection… et forcément, tout devient plus fragile.

Tout mettre ensemble : mauvaise idée… donc excellente

15 octobre 2023 -NGCStudio. Jusqu’ici, j’avais testé les choses séparément. Le fond vert, le mouvement avec le tapis, la lumière liée au décor, Unreal… chaque brique fonctionnait à peu près dans son coin. Là, l’idée est simple : tout additionner. Pas pour faire un test, mais pour faire un clip. TitFreaks arrive avec un morceau assez introspectif. Un texte sur le fait d’avancer, de grandir, de traverser des périodes. Ça tombe bien : le projet peut porter une progression visuelle. On part sur un plan séquence, une continuité, sans découpage pour tricher.

Je construis les environnements dans Unreal, en allant chercher des assets gratuits pour aller vite. L’objectif n’est pas de tout modéliser, mais de tester un rendu cohérent. On part sur quelque chose de post-apocalyptique, avec un ciel chargé, des orages en fond, une ambiance un peu suspendue. Le tournage commence dans le réel : un salon, un personnage qu’on suit, une préparation. Puis on bascule progressivement vers le studio. Le fond vert est là, visible. Et à mesure que le plan avance, il se transforme. Ce qui est intéressant, ce n’est pas le résultat final : c’est la transition.

Le fond vert… projeté

Gros changement sur ce tournage : le fond vert n’est plus seulement un tissu. Le vidéoprojecteur est assez puissant pour projeter un fond vert exploitable sur une surface plane, au moins en plan américain. La lumière est étonnamment régulière, et les reflets restent maîtrisés si on garde un peu de distance. Ça ouvre une possibilité intéressante :

  • moins d’installation
  • une surface plus propre
  • une lumière homogène

Et surtout, une meilleure séparation avec le sujet. C’est encore limité, mais suffisamment fiable pour être utilisé dans ce contexte.

Tracking : l’iPhone comme capteur

Autre évolution : le tracking. Je teste une solution basée sur l’iPhone et son LiDAR. L’idée est d’utiliser les capteurs du téléphone pour récupérer la position et les mouvements dans l’espace, et les transmettre à Unreal. En théorie, ça permet de : suivre les déplacements, adapter le décor en fonction et renforcer la cohérence des perspectives En pratique, ça fonctionne… mais pas parfaitement. Le tracking est prometteur, mais sensible. Un léger décalage, une latence, et l’illusion se dégrade. On sent que ça peut marcher, mais que ce n’est pas encore totalement fiable pour un usage fluide. Quoi que !

Simplifier là où c’est possible

Pour la lumière, je fais un choix inverse. Plutôt que de piloter en direct depuis Unreal, je passe par Sunlite. Trois scènes lumineuses, pensées en amont pour correspondre aux décors. On switch entre elles au bon moment. C’est moins “magique”, mais beaucoup plus stable. Et surtout, ça permet de garder une cohérence sans ajouter une couche de complexité supplémentaire.

Mouvement, enfin… presque

Le tapis de marche revient. Cette fois, intégré dans un vrai plan. On passe par plusieurs phases : statique, déplacement réel et simulation de marche, puis position finale. À la fin, TitFreaks se retrouve assis, dans un décor qui n’existe pas physiquement. Une vallée, un ciel orageux, des éléments qui flottent. Entre-temps, une équipe est passée dans le cadre pour déplacer des éléments, ajuster, transformer le plateau. Tout se fait à vue.

Assembler toutes les briques ne rend pas le système plus puissant : ça le rend plus exigeant. Chaque élément fonctionne, mais leur combinaison amplifie les défauts :

  • tracking encore instable
  • transitions délicates
  • cohérence lumière / décor à maintenir
  • précision des mouvements

On ne peut plus se contenter de “ça marche à peu près”. Ce projet ne valide pas une méthode : il montre plutôt où sont les limites actuelles. Mais aussi une chose importante : on commence à s’approcher d’un point où tout peut dialoguer. Le réel, le virtuel, le mouvement, la lumière. Pas encore parfaitement, mais suffisamment pour continuer.