Le virtuel s’invite à l’opéra
Préparation du cyber-opéra : session d’expérimentations et de tests
C’est lors d’une présentation à Compiègne par Florent Berthaut (centre de recherche en informatique, signal et automatique de Lille − Cristal¹), que le futur metteur en scène de l’opéra, Thierry Poquet entend parler des travaux de l’équipe. L’année suivante, ils prennent contact. « À l’époque, ils en étaient au début de l’écriture, et ils imaginaient simplement proposer des contenus virtuels plus riches » raconte Florent Berthaut.
Depuis une thèse à Bordeaux et un post-doc en Angleterre, ce dernier travaille sur la réalité augmentée, en lien avec des performances musicales. Aujourd’hui, avec ses collègues de l’équipe MINT, il développe en particulier des dispositifs où des objets virtuels sont révélés par les déplacements d’artistes ou d’un public² :
Révéler la présence du virtuel
Pour l’opéra ou les utilisations par les musiciens, l’équipe a développé un logiciel, Revil, qui a la fonction suivante : un objet virtuel est placé dans l’espace réel, puis la main de quelqu’un − ou une autre partie du corps, un instrument, etc. − le traverse. Cette action permet de déclencher la projection d’une image à cet endroit : la partie traversée de l'objet virtuel se révèle alors dans l'espace physique, permettant ainsi à l’utilisateur d'explorer des images, vidéos, sons…
Ce sont ces recherches qui vont intéresser la compagnie lilloise de Thierry Poquet, Eolie Songe. Le projet se développe ensuite, au fil de résidences en commun à l’espace culturel de Bondues et à l’Hexagone, théâtre situé à Meylan près de Grenoble.
L’opéra Terres Rares, dont les premières auront lieu les 5 et 6 avril 2022 à l’Hexagone de Meylan, compte trois actes. Après un premier acte proche d’un opéra classique, un second qui mêle cirque et chant, arrive le troisième dans lequel intervient le dispositif de l’équipe. Il s’agit de l’exploration de la mémoire d’un robot, seul témoin de l’échec d’une expédition au sort funeste.
L’un des exemples de l’utilisation de cette technologie fait intervenir une des comédiennes. Dans l’espace de la scène, une boîte virtuelle (un parallélépipède) a été placée. La comédienne a appris à mémoriser précisément où celle-ci se trouve. À mesure qu’elle la traverse, une vidéo représentant son visage, fragment de la mémoire du robot, est projetée sur son costume.
C’est donc son mouvement qui commande la projection, un peu à la manière dont les premiers opérateurs des débuts du cinéma tournaient et projetaient leurs films avec une manivelle, à une cadence forcément un peu aléatoire. La comédienne peut donc également s’arrêter et mettre la vidéo en pause. Le son est alors figé à l'instant correspondant grâce à une technique appelée synthèse granulaire.
À un autre moment, c’est un dialogue préalablement enregistré qui est recomposé : deux comédiens commandent par leurs mouvements la projection sur eux-mêmes de leurs répliques respectives en vidéo. Ce qui introduit un décalage par rapport au naturel de leurs échanges initiaux.
Dans une autre partie, les comédiennes et comédiens révèlent des parties de corps − yeux, bouche, etc. − placés virtuellement dans l’espace, avec des drapeaux. Au début, l'équipe place ces images dans la forme virtuelle la plus simple, des boîtes. « Mais pour certaines images, un des comédiens a demandé à utiliser plutôt des sphères : quand il les traverse avec les drapeaux, ce qui est projeté n’est d’abord qu’un petit point qui s’élargit progressivement. » Il peut ainsi jouer avec l’apparition et la disparition de ces images.
Explorer les possibilités
« C’est ça qui est intéressant dans le travail guidé par la performance artistique, c’est qu’il permet d’explorer les chemins de traverse des technologies, explique Florent Berthaut. Une partie du travail de l’équipe est précisément d’identifier et de cartographier systématiquement leurs usages et toutes les possibilités qu’elles offrent, afin de mettre ces retours d’expérience à disposition de tous, qu’il s’agisse d’artistes, de musées, etc.
La méthode permet ainsi de s’écarter des passages obligés de leur domaine − l’interaction humain-machine −, qui vise souvent à l’optimisation : déterminer l'outil qui permettra à un utilisateur d’effectuer le plus rapidement une tâche, par exemple.
« Dans notre cas, le réflexe conditionné était de faire en sorte que le système soit suffisamment réactif, indique Florent Berthaut. Car nous savions que les musiciens y sont extrêmement sensibles ». Pour l’opéra, l’équipe cherche donc au départ à trouver un compromis technique entre cette réactivité et la qualité de l’image. « Sauf que nous n’en avons pas du tout eu besoin, parce que le récit, finalement, a impliqué que les comédiens se déplacent lentement… »
Un opéra, c’est aussi une grosse machine avec beaucoup de monde : comédiens, musiciens, régisseur, vidéaste, artiste visuel, etc. C’était une découverte pour moi qui suis plus habitué à travailler avec des tout petits groupes de musiciens, qui explorent parfois nos dispositifs dans leurs moindres détails. Dans l’opéra, les répétitions sont très cadrées, avec des phases distinctes pour le jeu, la musique, etc. Les comédiens ont donc en général beaucoup moins de temps pour expérimenter. Nous essayons d’exploiter ces moments à fond, tout en les complétant par des entretiens.
Un cyber opéra que le public lillois pourra découvrir les 23 et 24 septembre 2022 au Grand Sud de Lille, en partenariat avec Lille 3000 – Utopia et la Clef des Chants.
D’autres projets avec musées et musiciens
Vitrines augmentées
Ce projet permet de révéler l’intérieur d’objets exposés dans une vitrine, à un visiteur qui lui fait face. En effet, en se déplaçant, il peut faire en sorte que son reflet traverse un des objets, révélant ce qui s’y trouve (ici l’intérieur d’une cabane à oiseaux, scanner 3D d’une tête, etc.) Le projet utilise le même logiciel, Revil, pour révéler des contenus virtuels.
Voir les rouages de la musique électronique
Par rapport à des instruments acoustiques, un instrument électronique peut avoir un fonctionnement plus obscur pour les spectateurs, le musicien pianotant sur une console ou activant des boutons plus ou moins ésotériques. Ces travaux permettent de matérialiser les composants virtuels de l'instrument et de révéler ainsi le jeu du musicien, sa virtuosité, etc. Ils ont été au centre de la thèse d'Olivier Capra.
Enrichir les instruments numériques…
Un autre dispositif basé sur le même logiciel, permet d’ajouter des sortes de boutons de contrôle, d’extensions virtuelles à des instruments numériques. Ces contrôles permettent de déclencher des notes ou de modifier le tempo. Le dispositif a été mis au point dans le cadre de la thèse de Cagan Arslan.
…et les instruments acoustiques
Un autre projet en cours avec le collectif lillois Muzzix, Vibrating Shapes, ajoute une sorte d’extension virtuelle cette fois à des instruments acoustiques. Par exemple, avec sa tête de guitare, le musicien interagit avec une sphère virtuelle : des dispositifs placés près des cordes frottent alors ces dernières, en fonction de la position de la tête de guitare dans la sphère. Certains musiciens mélangeaient ainsi en direct le jeu traditionnel avec celui ajouté par le logiciel.
¹ (Univ. Lille/CNRS/Centrale Lille I.)
² Dans le domaine de la réalité augmentée spatiale