virtualité, interaction, design, & art

Journée scientifique VENISE, 19 janvier 2007, LIMSI-CNRS (partie présentation scientifique)

3D temps réel pour le spectacle vivant et les installations artistiques

Christian Jacquemin, Georges Gagneré, Bertrand Planes

Mots-clés: anamorphose, arts numériques, décors et accessoires virtuels, serveurs de medias, régie numérique

Transparents (pdf)

Résumé

L'informatique pénètre le monde des arts comme le reste des activités humaines.

L'objectif de cette présentation est de montrer, en s'appuyant sur deux applications l'une en arts plastiques, l'autre dans le spectacle vivant, comment les applications artistiques offrent de nouvelles pistes pour la recherche scientifique en informatique.

Le domaine de recherche en arts plastiques concerne la réalité augmentée et l'utilisation de l'anamorphose pour le texturage de volumes par vidéo projection. Ce travail a débuté par deux stages de l'IUT de Montreuil (Wai Kit Chan et Anaïs Lancement) sur la géométrie projective et son application à la compensation des distorsions en rendu non perpendiculaire à la direction de projection (correction de perspective par homographie). Dans un deuxième temps ce travail a été appliqué à la réalisation d'une installation artistique urbaine dans le cadre de la Fête des Lumières de Lyon (festival Superflux organisé par la Galerie Roger Tator et oeuvre de Bertrand Planes Bump It!). Il s'agissait, dans cette oeuvre, de faire le rendu d'un cube texturé sur un cube physique de 1,10m de côté au moyen d'un vidéo projecteur. Nous décrirons le dispositif utilisé avec une modélisation d'un cube 3D et sa projection sur le cube physique. Nous décrirons les difficultés rencontrées pour le calibrage du dispositif et nous montrerons en quoi l'application de techniques de rendu de méso-structure pensé pour un rendu 2D se reformule différemment en rendu 3D par anamorphose.

Concernant les applications pour le spectacle vivant, nous présenterons une collaboration entre le LIMSI et la compagnie de théâtre Incidents Mémorables sur deux oeuvres: La Pluralité des Mondes de Jacques Roubaud (décembre 2005) et Espaces Indicibles (mai 2007) d'après Georges Perec et Henri Michaux. Ces deux pièces sont mises en scène par Georges Gagneré et font appel à une régie numérique complexe comportant lumière, synthèse sonore spatialisée, image de synthèse et vidéo interactives par captation des gestes des acteurs. Dans ces deux collaborations, deux dispositifs différents de synthèse 3D ont été développés. Dans La Pluralité des Mondes, nous avons proposé une extension du paradigme des calques-plans des outils de traitement d'images, à des calques 3D animés par des modèles physiques, pour le prototypage et l'animation de décors virtuels. Dans Espace Indicibles, le travail s'est orienté vers la gestion de l'espace dans de grands univers 3D avec une corrélation entre le positionnement des acteurs dans la scène physique et les déplacement dans la scène virtuelle (collaboration Rami Ajaj LIMSI-CNRS).

Journée scientifique VENISE, 19 janvier 2007, LIMSI-CNRS (partie bilan et perspectives)

Quelques pistes de recherche et d'animation autour des applications artistiques de la réalité virtuelle ou augmentée

Synthèse présentée par Christian Jacquemin

Mots-clés: animation faciale, partitions navigables, séminaires art/science, espaces d'information interactifs, régie numérique, spatialisation audio individualisée, composition musicale et graphique

Transparents (pdf)

Résumé

L'objet de cette présentation est de faire un bilan des activités conduites au LIMSI en collaboration avec le domaine artistique et de présenter quelques perspectives de développements futurs:

Bilan

  • collaboration avec le Studio Puce Muse (Serge De Laubier) sur le larsen audio/graphique, publication à NIME 2006.
  • collaboration avec la Compagnie Incidents Mémorables, Georges Gagneré, metteur en scène sur les interfaces par calques physiques: publications à (re)Actor, International Journal of Performance Arts and Digital Media et Hermes.
  • le workshop ENIGMES sur les partitions navigables sous la direction de Roland Cahen, designer sonore et enseignant à l'ENSCI, en collaboration avec les étudiants de l'ENSCI Svetlana Bogomolova, Yoan Ollivier, Diemo Schwarz, Benjamin Wulf (rédaction de publications à venir),
  • projet RIAM 2006 SoundDelta: contribution du LIMSI à la spatialisation audio individualisée et la modélisation de scènes audio-graphiques pour les spectacles musicaux situés interactifs,
  • projet Speech Conductor: contrôle gestuel d'un chanteur virtuel, workshops Enterface'06 et Enterface'07 du NoE SIMILAR, publication à NIME 06.
  • projet d'orgues historiques virtuels: documentation acoustique d'orgues historiques dans un but de conservation, documentation et diffusion du patrimoine instrumental.
  • projet sur l'interface clavier: étude acoustique du clavicorde en relation avec la dynamique du jeu par captation du mouvement et de la dynamique de la touche. Implication pour le clavier comme interface de contrôle.
  • partenarial avec Nicéphore Cité pour l'acquisition d'une table tactile.
  • projet RIAM 2006 MI: contribution du LIMSI à la composition musicale et graphique pour le méta-instrument,
  • les séminaires VIDA: présentation de VIDA (LIMSI), captation pour le spectacle vivant (Mains d'Oeuvres), croisement art/science en éducation (Ecole d'arts de Rueil),

Perspectives

  • collaboration avec la Compagnie Incidents Mémorables (Georges Gagneré) et le thème environnements virtuels et création de la Maison des Sciences de l’Homme Paris-Nord (Anne Sedes): vers un projet RIAM 2007 sur la régie numérique
  • intervention de Bertrand Planes, artiste plasticien, dans le cadre du projet ANR SEVEN sur la conception d'espaces d'information interactifs,
  • en collaboration avec Pascal Baltazar et Mathieu Chamagne (Groupe de Musique Electroacoustique d'Albi-GMEA): utilisation des rendus particulaires pour la composition musicale temps réel,
  • l'ASP Têtes Parlantes (resp. Jean-Claude Martin) et application en réalité augmentée avec le contrôle l'animation d'expressions faciales par une interface céphalomorphe intuitive,
  • mise en place d'une collaboration scientifique avec le CITU (dir.Anne-Marie Duguet (Lam,Paris1) et Imad Saleh (Paragraphe, Paris8)) s'appuyant sur deux collaborations en cours avec Samuel Bianchini: le projet Flag (avec la contribution des étudiants de Master Professionnel de l'Université Paris 11) sur le rendu temps réel de tissu et la participation à un projet RIAM 2007 sur le jeu vidéo.