virtualité, interaction, design, & art

> Toute La Lumière Sur L'Ombre

Video TLLSLO

Toute la Lumière sur l'Ombre est un projet qui vise à familiariser le public avec les possibilités offertes par la projection vidéo interactive informée sur le support en mettant l'ombre au coeur des dispositifs d'interaction. C'est une collaboration entre le LIMSI, didascalie.net, la compagnie L'Ange Carasuelo et la Médiathèque de Taverny dans le cadre d'un projet Partenariats Institutions-Citoyens pour la Recherche et l’Innovation ( PICRI), Région Île de France.

La présentation de TLLSLO sur le site des PICRI de la Région Île de France.

*Participants:*

>... la video de TLLSLO

La vidéo scientifique récapitulant les principes du dispositif et montrant ses déclinaisons en ombre virtuelle à base de silhouette sur différents dispositifs:

youtube ou AVI ou MPEG4

>... le rapport final de TLLSLO

>... les étapes de TLLSLO

Plusieurs temps forts ont marqué le déroulement du projet. Deux ont été hébergés à la Médiathèque “Les temps modernes” de Taverny.

>... Médiathèque de Taverny du 5 novembre au 30 novembre 2011:

Affiche Taverny Novembre 2011

QUe laissons-nous derrière nous, chaque fois que nous traversons un lieu? Quelle part de notre imaginaire, de notre esprit, de nos mémoires, déposons-nous là pour les suivants?

Le dispositif “MEMOIRE (S) OMBRES” a été présenté à la Médiathèque “Les Temps Modernes”, Taverny du 5 au 30 novembre 2011. MEMOIRE (S) OMBRES invite le visiteur de passage à déposer son ombre comme présence en creux à destination de ceux qui suivront.

Le dispositif interactif libère l'ombre de son propriétaire et propose d'orchestrer la rencontre de tous les corps qui sont là et qui ont été là, au travers de leur ombre. Le passage de chaque personne participe à la construction d'une ombre augmentée. Cette danse des mémoires solitaires ou collectives constituera au fil des jours la mémoire collective de l'installation.

Vidéo: youtube ou MP4

Cette installation coordonnée par L'ange Carasuelo (Benoit Lahoz et Vaérie Bacjas) et Flavie+Paul (Flavie Papin), le LIMSI-CNRS et la Médiathèque “Les temps modernes” de Taverny est l'un des aboutissements du projet Toute La Lumière Sur L'Ombre développé depuis 2009 par L'ange Carasuelo, didascalie.net et la Médiathèque “Les temps modernes” de Taverny.

La coordination de ce projet et la recherche scientifique l'accompagnant ont été assurées par le LIMSI-CNRS (Christian Jacquemin et Wai Kit Chan). Toute La Lumière Sur L'Ombre a été soutenu par un dispositif PICRI (Partenariat Institution Citoyens pour la Recherche et l'Innovation de la Région Île-de-France.

16 novembre 2011 à 16:00, Médiathèque “Les Temps Modernes”, Taverny, Conférence-débat avec Christian Jacquemin* (LIMSI-CNRS) : “Ombres et lumières en arts et sciences ”

>... Médiathèque de Taverny du 7 janvier au 6 février 2010:

Affiche Taverny Janvier 2010?350

*Ateliers/Débats/Petites pièces*

  • *Ateliers d'expérimentation avec les écoles, collège et lycée*. Les samedis 9, 16 et 23 | 01 de 14:00 à 16:00
  • *Ateliers de découverte et d'expérimentation tout public*. Mercredi 13 | 01 à partir de 14:00
  • *Séance de recherche ouverte au public*, avec Wai Kit CHAN (LIMSI-CNRS). Samedi 23 | 01 à 16:00
  • *Conférence-débat avec Jean-Marc VEZIEN* (LIMSI-CNRS) : “ L'ombre : une illusion ? ”
  • *Présentation du déroulement de la recherche par Wai Kit CHAN*. Vendredi 5 | 02 à 14:00
  • *Présentation des travaux d'ateliers, pièces courtes, conférence débat*. Samedi 6 | 02 à 14:00
    • Présentation des travaux d'ateliers
    • Pièces courtes : “Un petit à-côté du monde” (Benoît LAHOZ & Valérie BAJCSA, inspiré d'Haruki Murakami / L'ange Carasuelo) /
    • “Les Lumières et les ombres de la science” (Jean-Marc LEVY-LEBLOND / didascalie.net)
    • Conférence-débat avec Christian JACQUEMIN / Benoît LAHOZ / Georges GAGNERE / Catherine LAZARO / Les enseignants des écoles, collège et lycée : “Co-construire un projet arts-sciences : point d'étape

*Documents en ligne sur ces journées*

Les photos et vidéos des journées de Taverny sur le site de L'Ange Carasuelo.

>... Dorkbot Paris #26, le Samedi 29 janvier 2010 à la Générale:

19h30 14 avenue Parmentier, 75011 Paris, Métro Voltaire (9) Entrée libre

Au programme, présentations, projection, exposition et performance!

Avec :

Christian Jacquemin, sur le thème de l'ombre. http://perso.limsi.fr/jacquemi/

Fabienne Gotusso, sur le projet Soma, présentation et projection vidéo. Soma a reçu le soutien du CNC / Dicréam. http://fabiennegot.wordpress.com/

Hong Chulki, Choi Joonyong, Ryu Hankil, Jin Sangtae, de passage pour un concert aux Instants Chavirés (le jeudi 27) http://www.instantschavires.com/spip.php?article278

>... Documentation sur les recherches au LIMSI dans TLLSLO

Photo de travail à Taverny en janvier 2010

>... Extraction silhouette et ombre

Traitement du module d'ombre document technique sur le module de traitement et d'analyse d'image sans le but d'extraire la silhouette et l'ombre.

Une séquence vidéo de la détection de l'ombre.

>... Effets spéciaux et vidéoprojection dans l'ombre

Traitement du module d'effets document technique sur le module d'effets s'appuyant sur les résultats du module d'extraction de la silhouette et de l'ombre.

Une séquence vidéo sur les collisions de particules.

Une séquence vidéo sur le flash.

Une séquence vidéo sur les collisions de particules qui s'attirent sur le centre du ou des objets en mouvement.

Une séquence vidéo sur l'effet warping (déformation).

Une séquence vidéo sur l'effet Feu.

Une séquence vidéo sur l'effet Eau.

Une séquence vidéo sur l'effet Bois.

Une séquence vidéo sur l'effet Métal.

Une séquence vidéo sur l'effet Halo.

>... Mise en place et Expérimentation

- test sur la projection au sol

- test sur la projection sur le mur

Une séquence vidéo sur la mise en place et l'expérimentation de l'installation à petite l'échelle.

Une séquence vidéo sur l'application des effets dans l'environnement réel.

>... les objectifs de TLLSLO

Toute la Lumière sur l'Ombre est un projet qui vise à familiariser le public avec les possibilités offertes par la projection vidéo interactive informée sur le support en mettant l'ombre au coeur des dispositifs d'interaction.

L'utilisation de la vidéo-projection tend à se diffuser dans la société soit comme mode de visualisation familial de programmes de télévision ou de DVD (le home cinéma) soit comme outil professionnel. Ce mode d'utilisation de l'image projetée est assez fragile car il suppose un support uniforme et un faible éclairement ambiant. Et il n'ouvre pas de perspectives sur l'interactivité. En parallèle, sous l'influence de nouvelles interfaces telles que la Wii-mote, sont apparues de nouvelles générations de jeu faisant la part belle aux interactions. Ces interfaces permettent également de réaliser des tableaux blancs interactifs, mais elles impliquent un équipement minimal des utilisateurs par des dispositifs de contrôle ou des supports spécifiques sensibles à la présence d'un pointage physique.

Notre projet ouvre une voie hybride qui reprend les points intéressants des deux approches précédentes: elle prend à la vidéo-projection son caractère immersif et aux dispositifs interactifs leur capacité à impliquer les utilisateurs dans une boucle de contrôle et d'engagement ludique. Pour cela nous nous appuyons sur des techniques de radiométrie permettant de mesurer les propriétés d'un support et, surtout, de faire la différence entre une image projetée et son rendu projeté effectif, afin de détecter les interactions par des occultations ou des surcharges lumineuses de la surface projectée. Une fois les interactions détectées (ombres ou éclairement) l'image projetée varie en composant avec un rendu temps réel dont le contenu est défini par les interactions et vient s'afficher essentiellement dans les zones d'ombre.

Par ce projet, l'ombre, la lumière et la projection vidéo, considérées initialement comme antagonistes, deviennent des média combinés dans des dispositifs multimédias interactifs ne nécessitant pas d'équiper les utilisateurs avec des interfaces de contrôle et pouvant donc fonctionner sur tous supports. Ils sont donc bien adaptés pour des utilisations dans des lieux publics. En plus de leurs applications dans de tels lieux, nous en proposons des déclinaisons dans des utilisations artistiques telles que le spectacle vivant, ou des utilisations professionnelles telles que les pièces intelligentes.

Cette recherche familiarisera le public avec une nouvelle approche de l'image comme support d'enrichissement des environnements physiques par des informations numériques en offrant des applications multi-supports, mutli-utilisateurs, ludiques, créatives et immersives ne nécessitant pas l'utilisation de dispositifs d'interaction ou de support dédié.

L’application pratique de cette recherche permettra, de plus, d’offrir la possibilité aux publics d’envisager l’interaction avec la « réalité virtuelle » comme une action à part entière, ludique et porteuse de possibilités de réflexion, plutôt que comme une posture subie du fait des contraintes techniques et de l’incompréhension des outils.

Ce projet vise donc aussi à développer une pédagogie « immersive » et non frontale avec les publics : c’est par l’organisation de manifestations régulières en présence de spécialistes et d’artistes utilisant et questionnant les outils proposés, les mettant à disposition des visiteurs-spectateurs pour l’expérimentation, que ces derniers seront amenés à comprendre l’utilisation, le fonctionnement et les enjeux du dispositif. La compréhension de l’outil est un gage de liberté.

Proposer un partenariat chercheurs-artistes-lieux de transmission du savoir c’est permettre aux enjeux spécifiques de chaque « secteur » de se croiser, de se mêler pour un objectif commun : le lien avec et entre les publics.

L’intégration d’une dimension artistique au projet c’est, de plus, offrir un espace à une réflexion non seulement centrée sur l’application pratique des connaissances mais aussi sur la poésie surgissant de la rencontre entre l’outil et l’humain.

>... Rôle des partenaires

Les révélations d'une ombre

Pour le LIMSI, cette recherche s'appuiera sur les travaux en cours en réalité augmentée (avec des recherches combinant capture et analyse d'image, image de synthèse et compositing temps réel), en multimodalité (avec des recherches sur les nouvelles interfaces telles que les tables tactiles, les interfaces tangibles, les interfaces 3D et les combinaisons de ces dispositifs) et en analyse d'image. Elle viendra enrichir les domaines d'applications auxquels le laboratoire s'intéresse. D'une part elle concerne les déclinaisons grand public des interfaces entre le monde numérique et le monde physique que le LIMSI a présenté à plusieurs reprises en participant régulièrement à des manifestations telles que la Fête de la Science. Cette recherche concerne également les applications professionnelles sur lesquelles le LIMSI se focalise actuellement en développant un projet de pièce intelligente et des environnements multimodaux de conception immersive en collaboration avec l'École Supelec. Enfin, cette recherche participera à la thématique de recherche intitulée Virtualité, Interactivité, Design et Art (VIDA) dont les applications couvrent de nombreux domaines de la création tels que les arts plastiques, le spectacle vivant (théâtre, dans et musique), l'architecture ou le design.

Pour L’ange Carasuelo compagnie, ce projet PICRI rentre en totale cohérence avec le projet de compagnie et le projet artistique de la structure : travail en partenariat privilégiant la mutualisation et l’échange, approche des technologies numériques au théâtre, action culturelle et citoyenne avec et en direction des publics.

Ce projet sur le moyen terme enrichira nos travaux de création par la confrontation de questionnements artistiques, citoyens et scientifiques à-travers la dimension technologique de l’outil. Il consolidera notre démarche visant à allier un théâtre de texte et une approche cherchant un lien fort avec les publics, à-travers l’objet artistique lui-même comme par le biais de dialogues continus avec ceux-ci.

Pour didascalie.net, ce projet représente la possibilité de renforcer son travail de médiation et de transmission au grand public des expérimentations artistiques réalisées depuis plusieurs années. Les dispositifs alliant innovation scientifique et médiation grand public représentent une occasion idéale pour renouveler les contenus historiques de la décentralisation théâtrale, et redonner sur le terrain un nouvel élan à la tradition théâtrale d’interrogation du « vivre ensemble ». La participation étroite de partenaires citoyens à l’intégration artistique d’éléments scientifiques conduisant à l’élaboration de l’atelier-conférence, centre du dispositif de médiation, nous permet de reconsidérer le schéma traditionnel de production de formes culturelles à destination de la médiation. Comment réussir à faire de la médiation un objet nécessaire et complémentaire de l’acte de recherche scientifique ou de création artistique ? Et par conséquent, tendre vers un partage actif et sensible des enjeux vitaux de la science et de l’art dans la société contemporaine.

>... Résumé du projet de recherche

Les travaux scientifiques qui seront réalisés dans le PICRI vont approfondir la combinaison entre l'ombre, la lumière, la vidéo-projection et l'image de synthèse pour offrir des environnements d'interaction dans des environnements physiques non préparés (sans écran de projection) avec des personnes non équipées (sans capteurs, sans dispositifs d'interaction).

Ce projet de recherche fait le lien entre plusieurs domaines scientifiques complémentaires de l'analyse d'image et de la réalité mixte:

  • les méthodes de *détection d'ombres par analyse d'image* généralement utilisées soit pour éliminer une ombre parasite d'une image soit à des fins de classification pour améliorer la reconnaissance d'objets dans une scène,
  • la *compensation radiométrique* d'image qui informe et corrige l'image projetée en fonction d'une analyse du support et/ou du résultat de la projection,
  • les dispositifs de *réalité mixte* qui enrichissent le monde physique avec des informations venant du monde numérique ou le monde numérique avec des informations du monde physique et offrent des moyens d'interaction avec ces milieux hybrides.

Architecture du projet

Les recherches se feront dans quatre directions complémentaires: l'analyse radiométrique d'images, la détection d'ombres, la composition d'image temps réel et les dispositifs interactifs de réalité augmentée qui font le lien entre les deux domaines précédents. Le projet s'orientera dès le début vers trois cibles applicatives précises: la diffusion d'informations interactives dans un espace de culture multimédia, les dispositifs pour le spectacle vivant mêlant vidéo-scénographie, lumières et jeu d'acteur avec un contrôle sur ces médias, et la pièce intelligente. Ces cibles serviront en amont à définir des scénarios d'usage et des fonctionnalités attendues, et, en aval, à proposer des évaluations en situation qui pourront se transformer en utilisations pérennes. Un effort particulier sera fait à l'issue du projet sur le transfert de technologie vers les lieux d'accueil, sur la documentation des dispositifs, et sur la formation des futurs utilisateurs. Le code sera développé en Open Source et les matériels utilisés (vidéo-projecteurs et caméras) seront des matériels grand public à coût raisonnable afin de garantir la dissémination de ces dispositifs à l'issue du projet.

Le projet aura des applications dans le spectacle vivant par la combinaison de jeu d'acteur, la projection lumière et la vidéo-projection interactive. Sur le plan des applications domestiques ou professionnelles il constituera une nouvelle forme de tableau interactif moins orienté vers des contenus et des interactions précises, mais plus vers des applications ludiques ou esthétiques dans lesquelles la reconnaissance précises de l'interaction est moins importante, mais où l'utilisation des propriétés graphiques de l'ombre est plus importante. Enfin, il sera utilisable dans des lieux grand public non prévus pour la vidéo projection sans contraintes fortes sur l'absence d'éclairement parasite, et permettra des interactions non équipées et naturelles avec le public sur des supports multisurfaces.

Le travail scientifique qui sera réalisé dans le cadre de ce projet intégrera les avancées des recherches précédentes dans un environnement de réalité augmentée mettant l'accent sur l'utilisation de l'ombre dans trois dimensions:

  • comme moyen d'interaction avec le monde numérique,
  • comme moyen d'augmentation de la surface projetée en utilisant l'ombre pour y incruster des informations complémentaires,
  • comme support à la sensation de présence dans l'univers virtuel.

Il débouchera sur la réalisation d'un environnement de réalité augmentée dans lequel l'ombre d 'un utilisateur sur une surface vidéo-projetée sera détectée, analysée, éventuellement compensée ou complétée par une projection vidéo annexe et utilisée comme support de l'interaction. Trois modes d'ombrage seront mis en oeuvre:

  • un ombrage par occultation lorsque l'utilisateur s'interpose entre la source de vidéo-projection et la surface projetée,
  • un ombrage par masquage d'une source lumineuse permanente éclairant la surface projetée qu'elle soit visible ou non (projection infrarouge),
  • un ombrage virtuel par capture d'image vidéo de l'utilisateur et reprojection dans le monde virtuel.

Ces recherches se situent dans le champ de la réalité mixte puisqu'elles combinent les mondes réels et virtuels en offrant de nouvelles solutions de continuité. Elles se situent également en interaction multimodale puisqu'elles associent le geste et l'image projetée interactive. Et enfin, elles s'appuieront sur des développements spécifiques de traitement d'image temps réel (calculs de différences d'images, compensation radiométrique, extraction de masques, seuillage adaptatif…) et composition interactive pour une vidéo-projection située.

>... Thématiques du projet de recherche

  • Compensation radiométrique adaptative
  • Image de synthèse temps réel
  • Analyse d'image et composition temps réel par la programmation des cartes graphiques
  • Interaction multimodale
  • Réalité augmentée graphique
  • Détection d'ombre

*Mots-clés :*

  • Réalité mixte
  • Tableaux blancs interactifs
  • Multimodalité
  • Art et science
  • Vidéo-projection interactive
  • Informatique ambiante ou pervasive
  • Intelligence ambiante

>... Autres documents en ligne pour TLLSLO

Présentation détaillée du projet de recherche

Vous trouverez sur la page de présentation détaillée plus d'informations sur ce projet de recherche:

  • Description détaillée du projet
  • Caractère innovant du projet
  • Échéancier
  • Partage et dissémination des connaissances
  • Intérêt pour la Région Île-de-France

Comptes rendus

Compte rendu de la réunion de lancement le 6 janvier 2009 au LIMSI-CNRS

Compte rendu de la réunion de fin de 2e année le 25 novmmbre 2010 au Centre Culturel de Taverny

Références bibliographiques

Autres projets artistiques dans le même domaine