VIDA

On ne la remarque pas. Et pourtant… L’ombre, autour de nous, est toujours présente. En peinture, elle donne l’illusion du réel en créant la troisième dimension. Certains artistes en jouent pour inventer un monde imaginaire. Mais, quelle que soit la manière dont ils l’utilisent, l’ombre révèle qu’une œuvre est un artifice différent de la réalité.

E. Revel.

Les travaux scientifiques qui seront réalisés dans le PICRI vont approfondir la combinaison entre l'ombre, la lumière, la vidéo-projection et l'image de synthèse pour offrir des espaces d'interaction au sein d'environnements physiques non préparés (sans écran de projection) avec des personnes non équipées (sans capteurs, sans dispositifs d'interaction). Ils visent à donner une dimension magique aux univers quotidiens, à solliciter l'imaginaire dans des situations de lecture publique, de performance théâtrale ou chorégraphique par des dispositifs technologiques et scientifiques avancés mais non intrusifs. Ces recherches s'appliquent également aux travaux sur les pièces intelligentes (I-room) dans la mesure où elles visent une interaction naturelle avec des dispositifs informatiques enfouis.

Ce projet de recherche fait le lien entre plusieurs domaines scientifiques complémentaires de l'analyse d'image et de la réalité mixte:

• Les méthodes de détection d'ombres par analyse d'image sont généralement utilisées soit pour éliminer une ombre parasite d'une image, soit à des fins de classification pour améliorer la reconnaissance d'objets dans une scène. Les méthodes de détection d'ombres à base de modèles ne conviennent pas pour des environnements ouverts dans lesquels les ombres seront essentiellement issues de personnes en mouvement. En revanche, les méthodes à base de propriétés reposant sur la géométrie, la couleur ou la luminance des ombres sont bien adaptées aux environnements sur lesquels se focalise ce projet. En particulier, nous comptons nous appuyer sur des algorithmes de reconnaissance des ombres par la variation des propriétés spectrales d'une surface lorsqu'elle est ombrée. Une détection de contour sera combinée à l'analyse de la pénombre. Les analyses se feront sur des images vidéo et en respectant une contrainte de temps réel afin de permettre une interaction avec les utilisateurs.
• la compensation radiométrique d'image informe et corrige l'image projetée en fonction d'une analyse du support et/ou du résultat de la projection. Elle consiste à coupler les pixels obtenus par capture du support de projection et les pixels d'une vidéo-projection simultanée pour modifier la projection en fonction des informations spectrales fournies par la capture. La compensation radiométrique est utilisée pour l'élimination dynamique des ombres des utilisateurs (rejoignant ainsi la détection d'ombre décrite dans le point précédent), la projection sur des surfaces non planes ou sur des surfaces aux propriétés chromatiques non uniformes. Nous nous focaliserons en priorité sur l'élimination des ombres et sur la projection des surfaces aux textures non uniformément blanches par une correction de la projection par pixel. La compensation radiométrique, dans la mesure où elle combine capture et projection requiert un calibrage de la caméra et du ou des vidéoprojecteurs fournissant leurs positions dans la scènes et leurs paramètres intrinsèques (angle de vue, distance focale, rapport largeur/hauteur…). Analyse et compensation seront réalisées par des calculs dans la carte graphique essentiellement par des shaders de pixel dans des algorithmes multipasse afin d'assurer des temps de traitement compatibles avec les exigences du temps réel.
• les dispositifs de réalité mixte enrichissent le monde physique avec des informations venant du monde numérique ou le monde numérique avec des informations du monde physique. Ils offrent des moyens d'interaction avec ces milieux hybrides. Ils permettent la réalisation de dispositifs dits d'Intelligence ambiante dans lesquels l'environnement devient support d'interaction (en entrée) et de report d'information (en sortie). Une fois l'ombre reconnue et localisée, elle peut devenir objet d'interaction par des modalités de pointage, et support d'information par vidéo-projection sélective à l'intérieur de la zone ombrée. De façon plus large, la détection de l'ombre, la compensation radiométrique du support, l'utilisation de lumières visibles ou invisibles (infrarouge) combinées à de l'image de synthèse compositée utilisant les masques des ombres et les informations sur la géométrie des surfaces projetées donneront lieu à une palette très large de dispositifs interactifs, informatifs et/ou expressifs, ludiques et/ou professionnels. Le point commun central à ces dispositifs sera l'utilisation de l'ombre comme moyen de communication et de présence des univers mixtes numériques et physiques.

Les avancées scientifiques réalisées dans ce projet viendront de la combinaison originale de méthode d'analyse et de synthèse d'image au sein d'un dispositif nouveau. Ce dispositif permettra, en temps réel, à des utilisateurs d'interagir avec un monde numérique par l'intermédiaire de leur ombre et de percevoir les résultats de leurs interactions par la modification de leur zone d'ombre de façon passive de (élimination, effets de rémanence, flou et atténuation) ou active (ajout d'information dans l'ombre sous forme d'image de synthèse, de texte ou de widgets interactifs).

L'objectif du projet est d'offrir un environnement mixte dans lequel les interactions se feront sans équipement spécifique ni du côté de l'utilisateur (pas de dispositif de contrôle) ni du côté du support de projection (pas de nécessité d'un support physique dédié, pas d'exigences sur l'uniformité lumineuse du support). Les recherches se feront dans trois directions complémentaires: l'analyse d'images, la composition d'image en temps réel et les dispositifs interactifs de réalité augmentée qui font le lien entre les deux domaines précédents. Le projet s'orientera dès le début vers trois cibles applicatives précises: la diffusion d'informations interactives dans un espace de culture multimédia, les dispositifs pour le spectacle vivant mêlant vidéo-scénographie, lumières et jeu d'acteur avec un contrôle sur ces médias, et la pièce intelligente. Ces cibles serviront en amont à définir des scénarios d'usage et des fonctionnalités attendues, et, en aval, à proposer des évaluations en situation qui pourront se transformer en utilisations pérennes. Un effort particulier sera fait à l'issue du projet sur le transfert de technologie vers les lieux d'accueil, sur la documentation des dispositifs, et sur la formation des futurs utilisateurs. Le code sera développé en Open Source et les matériels utilisés (vidéo-projecteurs et caméras) seront des matériels grand public à coût raisonnable afin de garantir la dissémination de ces dispositifs à l'issue du projet.

Analyse d'image: détection automatique d'ombre

Les dispositifs d'interaction envisagés reposent pour une large part sur la capacité à détecter, en temps réel, l’ombre d’objets ou de sujets dans l’espace scénique. Depuis de nombreuses années, des algorithmes d’analyse d’images visent à caractériser les ombres (Ikeuchi et al. 1999, Prati et al. 2003) essentiellement afin de s’en affranchir (par exemple, pour distinguer les objets physiques placés sur la trajectoire d’un véhicule d’ombres portées sur le sol (Bhuvaneshwar et al. 2004).

Les algorithmes contemporains s’appuient en général sur une classification de la distribution des couleurs des pixels d'une surface, selon que celle-ci est dans la lumière, dans la pénombre ou dans l'ombre. Cette classification est en général de nature probabiliste, en ce qu'elle calcule les plages de valeurs des couleurs dans chacune des classes à partir d'information a priori, obtenue par l'observation de conditions expérimentales connues. Cette caractérisation photométrique est difficile à obtenir en général, mais est beaucoup plus facile à maîtriser dans un dispositif scénique (prise d’images préalables, information sur le décor, utilisation d’infrarouges). Elle permet, a contrario des usages habituels, de considérer les ombres comme les zones utiles, et de les isoler du reste des images pour leur utilisation active. Bien entendu, le caractère dynamique (séquence d'images) de la détection d'ombres permet d'augmenter fortement la robustesse du processus, notamment en ce qui concerne la séparation entre le fond (décor) et l'objet projetant l'ombre (personnage la plupart du temps).

Un des problèmes, outre les habituels réglages paramétriques souvent délicats, consiste cependant à éviter d'utiliser une mémoire trop ancienne, et exploitant des images dont le contenu en terme d'objets générant des ombres est obsolète. Un autre obstacle à cette classe d'algorithme est la détection des pénombres, qui présentent souvent un caractère diffus difficile à classer entre ombre et lumière. Les approches algorithmiques existantes combinent les détecteurs précédents avec des détecteurs de contours, sachant que les zones de pénombre sont caractérisées par des gradients de luminance dont la largeur caractéristique est plus grande que pour des contours classiques produits par des ombres franches ou des contours d'objets (voir Stauder et al. 1999).

Analyse d'image: compensation radiométrique

L'analyse d'images vidéo-projetée en temps réel et la combinaison avec de la projection de lumière structurée permet la projection sensible (smart projection) pour compenser les variations lumineuses statiques ou dynamiques d'un support ainsi que la correction dynamique de keystone (Bimber et al. 2005). Ces techniques permettent, si on peut disposer de caméras correctement calibrées (comme dans le cas envisagé dans ce projet), d'envisager la vidéo-projection dans des lieux publics qui n'ont pas été équipés d'écrans spécifiques et dont les surfaces de projection peuvent recevoir des ombres ou des éclairements parasites. Ces techniques d'analyse d'image temps réel permettent notamment de supprimer les ombres parasites lors de projections multi-projecteurs (Sukthankar et al. 2001), ainsi que de détecter des occultations de l'image et de les utiliser à des fins d'interaction, par exemple dans des applications de manipulation distantes de documents physiques (Takao et al 2003).

L'efficacité de telles techniques dépend à la fois de la précision des différents étages de la chaîne (calibrage, détection des ombres, estimation de la compensation radiométrique) et de la puissance de calcul requise pour le traitement en temps réel.

Synthèse d'image: composition d'image temps réel

La composition d'image temps réel est la possibilité de superposer des éléments réels et virtuels au sein d'un rendu homogène dans lequel les éléments des deux mondes partagent le même repère. L'image de synthèse de la composition doit prendre en compte la position de la caméra et la position de la ou des sources lumineuses par rapport au(x) plan(s) de projection. Si le point de vue joue un rôle important, la position de l'observateur devra également être connue. Dans la mesure où les applications réalisées seront faites pour être vues simultanément par plusieurs personnes avec des points de vue variables, les applications réalisées seront plutôt des dispositifs dans lesquels l'image sera plaquée sur les surfaces physiques. Les scènes ainsi réalisées seront visualisables quel que soit le point de vue et peu sera fait pour faire des rendus en perspective et/ou en relief dépendant de la position de l'utilisateur.

Une fois connues les positions des sources lumineuses, de la caméra et des zones de projection, la composition consistera à masquer la vidé-projection afin de ne projeter que sur ou hors de l'ombre, à introduire éventuellement des ombres d'objets virtuels, et à modifier le rendu pour prendre en compte les déformations de perspective dues à la position des surfaces de projection par rapport à la caméra et au vidéo-projecteur.

Dans (Jacquemin et al. 2007), a été réalisé une composition mettant en jeu les ombres des spectateurs projetées dans une scène 3D issue de reconstruction à partir de vidéo ou d'image de synthèse,. Cette composition a été possible par la conception d'un environnement de rendu à partir de couches vidéo et d'image de synthèse. La composition prenait en compte la position de la caméra, la position de la source de lumière et le plan de projection. L'assemblage des médias (image de synthèse, vidéo projetée sur les objets géométriques dans le cas de reconstruction 3D, et vidéo de capture des utilisateurs pour l'ombre portée) était réalisée par un calcul multipasse dans la carte graphique incluant flou et transparence de l'ombre.

Pour faciliter la conception de ce type de composition et son extension à des scènes plus complexes, avec plus de sources d'images ou des surfaces multiples, (Jacquemin et Gagneré 2007) propose une interface pour la conception de scènes à partir de couches superposées d'images portées par des surfaces de géométries variables. L'accent est mis sur la possibilité de modifier dynamiquement les paramètres de la composition (transparence, masquage, filtres) ainsi que la géométrie 3D des couches qui sont composées. Ce travail de développement d'une interface multi-usages de composition et de contrôle de calques 3D sera poursuivi dans le cadre du projet ANR Virage au cours du second trimestre 2008. Dans le cadre de ce projet ANR, des bibliothèques de scènes standard seront réalisées et paramétrées en temps réel dans le cadre de régies numériques pour le spectacle vivant. Ces travaux pourront être directement réutilisé dans le cadre du projet PICRI et apporteront des solutions rapides à la construction de scènes 3D.

Nouveau dispositif de réalité mixte ou augmentée

Du côté des applications de réalité augmentée, beaucoup de travail a été fait pour intégrer des objets physiques avec de la projection d'objets virtuels. Afin d'augmenter le réalisme et l'interpénétration des mondes réels et virtuels, d'autres composantes moins immédiates des mondes physiques et numériques comme l'ombre (ombrage ou ombre projetée) ont été prises en considération. Il s'agit autant de projeter dans le monde réel des ombres des objets virtuels (Naemura et al. 2002) que de projeter dans le monde virtuel l'ombre d'objets réels ou l'ombre des utilisateurs (Jacquemin et al. 2007). L'utilisation de l'ombre augmente la sensation de continuité entre les mondes physiques et numériques, aide les utilisateurs à se sentir présents dans l'univers virtuels non seulement par l'indice visuel que représente l'ombre, mais aussi par le fait qu'elle leur permet de « toucher » les éléments du monde virtuel. Le contact de l'utilisateur par l'ombre se fait soit par l'ombre qu'il projette virtuellement dans la scène numérique (Jacquemin et al. 2007) en assimilant le vidéo projecteur à une source de lumière, soit par l'utilisation d'une lampe torche virtuelle qui projette des ombres dans la scène virtuelle en fonction de l'orientation qui lui est donnée par l'utilisateur. Ces recherches sur les intégrations réciproques de l'ombre (ombrage du virtuel par le réel ou l'inverse) ont pour but de mieux connecter les mondes physiques et numériques, mais ne centrent pas la recherche sur l'ombre en tant qu'objet de médiation de l'information en entrée en permettant d'agir sur le déroulement d'une interaction ou en sortie en utilisant la surface de l'ombre pour la garnir de nouvelles informations.

Dans les dispositifs de réalité mixte, l'ombre a été utilisée à plusieurs reprise comme moyen d'interaction en entrée. Par exemple, dans Tele-Graffiti (Takao et al. 2003), l'ombre sert à manipuler des documents, et dans Bubble Caster (Winkler et al. 2005), les enfants utilisent leur ombre pour déplacer des bulles représentant des émotions pour construire une histoire visuelle et sonore. Il a donc corrélation directe, dans ces deux cas, entre le positionnement de l'ombre dans l'image projetée et les interactions qui en résultent. Il s'agit alors d'actions intentionnelles, précises et construites. En plus de ce type d'interaction, nous envisageons également l'ombre comme moyen d'interaction implicite avec l'utilisateur par des actions qui ne sont pas intentionnellement orientées vers une réaction déterministe prévue. Dans notre proposition, l'ombre pourra devenir, par exemple, outil de création graphique et/ou sonore en introduisant une certaine distance entre une action et son effet sur le rendu. Dans tous les cas, l'ombre sera le dispositif d'entrée adopté dans notre projet.

Inversement, l'ombre est utilisée plus rarement dans la littérature scientifique de la réalité mixte comme moyen d'afficher des informations en sortie d'un dispositif numérique. Dans l'installation Movie-in-Shadow de (Minomo et al. 2005), l'ombre est utilisée pour révéler une vidéo live mais elle n'est alors que dispositif d'affichage sans autre interaction que le positionnement de l'utilisateur par rapport aux sources vidéo complémentaires qui l'alimentent. Cette installation illustre cependant bien l'intérêt d'utiliser la surface d'une ombre portée, fut-elle réelle ou virtuelle, pour y inclure un rendu animé.

L'utilisation de l'ombre dans une installation de réalité mixte fait prendre conscience aux utilisateurs du rôle physique de l'ombre comme indication d'une présence. Elle révèle également l'ombre comme moyen de se projeter dans un espace en l'habillant d'images sur les lieux où l'ombre joue habituellement précisément le rôle inverse de masque de la lumière. Elle ouvre la porte de l'imaginaire avec des mondes où l'ombre acquiert une portée symbolique, évoquant des traces culturelles anciennes où ombre et lumière jouaient des rôles forts dans la religion (l'orientation des lieux de culte chrétiens, par exemple) ou dans la mesure du temps (les cadrans solaires). Plus généralement, l'ombre est un médium qui traverse de nombreux courants artistiques et culturels, y compris dans les média récents comme la vidéo ou le cinéma d'animation (Revel 1998).

Développements scientifiques

Le travail de recherche proposé va consister dans un premier temps à réimplémenter (ou à récupérer des codes existants) dans les domaines de l'analyse d'image et de la composition d'images. Une partie importante de ce code est déjà disponible au LIMSI-CNRS:

• la détection d'ombre: dans le projet ANR Digitable, des algorithmes d'analyse d'image pour détecter la position des mains au dessus d'une table interactive ont été développés et pourront être réutilisés, Par ailleurs, des évaluations récentes (Prati et al. 2003) vont permettre de sélectionner les approches les plus performantes au regard des conditions expérimentales visées (conditions d'illumination, rapport signal sur bruit des caméras utilisées, puissance des projecteurs, type de surface de projection).
• la composition d'images temps réel en ombrage réaliste de scènes virtuelles à partir d'images vidéo sur caméra fixe a déjà été réalisé au sein du LIMSI. Ce travail utilisait soit une vidéo préenregistrée sur laquelle une reconstruction 3D partielle avait été effectuée, soit des images de synthèse 3D temps réel. Dans les deux cas, une capture vidéo des utilisateurs devant la surface de projection suffisait à obtenir leur silhouette et à la reprojeter de façon réaliste dans la scène vidéo ou dans la scène 3D.
• le calibrage d'images:est nécessaire dans le cas d'une capture d'image et d'une vidéo-projection non perpendiculaires au plan de projection. Afin de calibrer le dispositif, il faut obtenir les paramètres intrinsèques (caractéristiques internes) et extrinsèques (position, orientation) des dispositifs optiques. Ces informations sont utilisées, d'une part, pour aligner capture et projection vidéo et, d'autre part, pour corriger la projection afin qu'elle s'adapte à la surface de projection. Ce problème a déjà été largement étudié (voir (Salvi et al. 2002) pour un comparatif quantitatif récent), et le LIMSI possède un certain nombre de codes réalisant cette opération de façon semi-automatique, avec plusieurs modèles de projection possible (orthographie, perspective, distorsions radiales, tangentielles, etc.). Cependant, l’accent devra être placé sur l’obtention d’une solution légère à mettre en œuvre (afin de minimiser les temps d’installation), rapide et de précision adaptée, permettant éventuellement une correction au cours même d'une présentation interactive (calibrage « en ligne »).

Les développements suivants devront soit être récupérés auprès de laboratoires rendant leur code disponible soit être réalisés à nouveau afin d'en acquérir la maîtrise scientifique et technologique:

• la compensation radiométrique d'image est une analyse du flux image capté sur une vidéo-projection pixel par pixel afin de compenser les irrégularités de la surface dans le rendu vidéo et d'obtenir un rendu vidéo le plus homogène possible. Ceci passe d'abord par la mise en correspondance entre la projection et les images captées, ce qui est analogue au calibrage (voir ci-dessus). Ensuite, la caractérisation photométrique obtenue dans le processus de détection d'ombres sera exploitée pour classer les pixels en fonction leur luminosité propre. Enfin, un processus dynamique permettra de corriger itérativement, de façon localisée, la puissance relative du signal projeté afin d'obtenir le résultat désiré – par exemple un rendu homogène avec suppression des ombres parasites.

Une fois ces technologies reprises et appropriées, le travail se poursuivra dans deux directions:

• la spécialisation et le paramétrage de certains de ces développements scientifiques afin de les adapter au problème de la détection et de l'interaction par l'ombre en environnement ouvert,
• la mise en relation de ces différentes composantes au sein d'un environnement de réalité mixte dont l'ombre constitue le dispositif d'interaction central tant en entrée qu'en sortie.

Sur le plan de la spécialisation des algorithmes de traitement d'image, il faudra optimiser les algorithmes utilisés et reporter les calculs sur le processeur graphique afin que les exigences du temps réel soient satisfaites. Il faudra également rendre les algorithmes suffisamment robustes aux conditions d'éclairage et aux variations sur les surfaces projetées pour que le dispositif puisse être utilisé dans des environnements variés tant en intérieur qu'en extérieur. Il faudra également concevoir des algorithmes spécifiques pour que la détection de l'ombre puisse se faire en conjonction avec une vidéo-projection dans la surface. Les algorithmes d'analyse devront être adaptés à des images vidéo de qualité médiocres telles que celles que l'on obtient par capture par une webcam dans des conditions d'éclairement faibles. Enfin, il faudra pouvoir inclure la variabilité de la surface et la variabilité de l'éclairage ambiant dans la compensation radiométrique d'image.

Sur le plan de la mise en relation des composantes au sein d'un environnement de réalité mixte, le travail devra commencer par une phase de documentation et par des séances de conception participative avec les futurs utilisateurs. Des scénarios seront envisagés pour la construction de plusieurs dispositifs d'interaction centrée sur l'ombre qui guideront les travaux tout au long de la recherche et qui serviront de validation lors d'expérimentation d'évaluation avec les utilisateurs. La conception du dispositif s'appuiera sur des méthodes telles que ICARE (Bouchet et al. 2005) dans la mesure où il peut être vu comme une interface multimodale avec des modalités actives (le pointage par l'ombre) et passives (l'ombrage involontaire d'occultation). Ce systèmes est également un système mixte qui relie un monde physique et un monde numérique. Une analyse des systèmes mixtes telle que proposée par (Coutrix et Nigay 2008) permettra

• d'envisager différents rôles joués par les propriétés physiques de l'ombre (captée ou générée par silhouettage de vidéos),
• de proposer différents types de liens entre les mondes physiques et numériques en entrée et en sortie centrés autour de l'ombre et de l'occultation de la lumière,
• d'aider à explorer l'espace de conception de systèmes mixtes étant données les propriétés physiques de l'ombre et le modèle de données numériques que l'on cherche à connecter.

Les travaux de recherche devront déboucher sur un environnement de conception de dispositifs de réalité mixte centrés sur l'ombre avec des bibliothèques de composants spécialisés pour cette tâche, des interfaces d'entrée de contrôle par détection d'ombre, des interfaces pour le calibrage et la compensation radiométrique d'image, et enfin un environnement de composition des médias et de distorsion pour le rendu sur des surfaces non planes ou non orthogonales au vidéo-projecteur.

Applications

Le projet aura des applications dans le spectacle vivant par la combinaison de jeu d'acteur, projection lumière et vidéo projection interactive. Sur le plan des applications domestiques ou professionnelles il constituera une nouvelle forme de tableau interactif moins orienté vers des contenus et des interactions précises, mais plus vers des applications ludiques ou esthétiques dans lesquelles la reconnaissance précise de l'interaction est moins importante, mais où la modification des propriétés graphiques de l'ombre est au coeur de la sortie d'informations du monde numérique vers le monde physique. Enfin, il sera utilisable dans des lieux grand public non prévus pour la vidéo projection sans contraintes fortes sur l'absence d'éclairement parasite, et permettra des interactions non équipées et naturelles avec le public sur des supports multi-surfaces.

Synthèse

Le travail scientifique qui sera réalisé dans le cadre de ce projet intégrera les avancées des recherches précédentes dans un environnement de réalité augmentée mettant l'accent sur l'utilisation de l'ombre dans trois dimensions:

• comme moyen d'interaction avec le monde numérique,
• comme moyen d'augmentation de la surface projetée en utilisant l'ombre pour y incruster des informations complémentaires,
• comme support à la sensation de présence dans l'univers virtuel.

Il débouchera sur la réalisation d'un environnement de réalité augmentée dans lequel l'ombre d'un utilisateur sur une surface vidéo-projetée sera détectée, analysée, éventuellement compensée ou complétée par une projection vidéo annexe et utilisée comme support de l'interaction. Trois modes d'ombrage seront mis en oeuvre:

• un ombrage par occultation lorsque l'utilisateur s'interpose entre la source de vidéo-projection et la surface projetée,
• un ombrage par masquage d'une source lumineuse permanente éclairant la surface projetée qu'elle soit visible ou non (projection infrarouge),
• un ombrage virtuel par capture d'image vidéo de l'utilisateur et reprojection dans le monde virtuel.

Les recherches se situent dans le champ de la réalité mixte puisqu'elles combinent les mondes réels et virtuels en offrant de nouvelles solutions de continuité. Elles se situent également en interaction multimodale puisqu'elles associent le geste et l'image projetée interactive. Et enfin, elles requièrent également des développements spécifiques de traitement d'image temps réel (calculs de différences d'images, compensation radiométrique, extraction de masques, seuillage adaptatif…).

Le caractère novateur du projet se situe dans la combinaison originale des résultats de recherches antérieures au sein d'un dispositif original de réalité mixte avec pour thème central l'utilisation de l'ombre comme moyen d'interaction, d'information et d'expression qui ouvre à une très vaste palette d'applications. Certaines de ces recherches sont reprises telles quelles, d'autres seront redéveloppées et spécialisées pour les modes d'interaction choisis.

Ce projet innove donc sur le thème des interfaces multimodales et de la réalité mixte en approfondissant une nouvelle modalité d'interaction, l'ombre, et en l'utilisant à la fois comme dispositif d'entrée et comme médium de sortie.

Ce projet innove également sur les technologies pour les arts numériques, l'intelligence ambiante et les pièces intelligentes en proposant des avancées sur les modes d'interaction non intrusifs avec les nouvelles technologies à destination des artistes, des citoyens et des professionnels. Il vise à réduire la barrière entre les mondes physiques et numériques en offrant un mode d'interaction écologique, engageant, et naturel.

Il apportera la preuve de la faisabilité de ce type d'environnement, contribuera à connecter des recherches qui sont, pour certaines, encore conduites en parallèle, et à former des scientifiques sur les thématiques de l'informatique ubiquitaire.

Les étapes du développement scientifique à réaliser seront les suivantes:

1. Reprise de travaux existant au LIMSI ou développés dans d'autres centres de recherche:
2. la compensation radiométrique adaptative (travaux à récupérer de l'université de Weimar)
3. l'interaction à base d'occultation par différence d'images (travaux réalisés sur Digitable par Frédéric Vernier)
4. le traitement d'image vidéo temps réel et la composition avec des images de synthèse ou des vidéo préenregistrées (travaux réalisés en collaboration avec Bertrand Planes et Georges Gagneré par Christian Jacquemin)
5. Le développement de travaux sur les interactions temps réel à partir d'ombres en se focalisant sur l'ombre comme dispositif d'interaction simple (essentiellement son contour) et comme support de rendus graphiques augmentés. Parmi les cibles de recherche qui seront développées, citons
6. la spécification d'un système de réalité mixte, les modes de combinaisons des modalités et les liens entre les mondes physiques et numériques,
7. la reconnaissance et le remplissage d'une ombre d'occultation de l'image vidéo projetée par une projection vidéo complémentaire avec comme rendus possibles l'annulation d'une ombre, l'ajout d'effets de rémanence, l'ombre en relief, ou l'ombre transparente.
8. la reconnaissance et le remplissage d'une ombre d'occultation d'une projection annexe (infrarouge ou domaine du visible) en modifiant l'image projetée par masquage avec cette ombre complémentaire et en la remplissant avec un contenu annexe issu soit d'une capture temps réel soit de vidéos ou textures préenregistrées,
9. la capture vidéo de la silhouette d'un utilisateur face au dispositif et son intégration dans l'image projetée en respectant la géométrie de cette image s'il s'agit d'une image virtuelle 3D (on n'utilisera pas de techniques de mesure et de reconstruction 3D pour connaître la géométrie des surfaces capturées).

Il sera bien sûr intéressant de pouvoir combiner ces travaux pour offrir au sein d'un même environnement différents modes de jeu avec l'ombre.

Description du dispositif de médiation scientifique et artistique et des modalités de sa transmission

Dans le cadre de notre objectif de favoriser, dans le cadre de partenariats forts, la diffusion de la culture scientifique auprès des citoyens, nous développerons une forme artistique en lien étroit et constant avec les recherches effectuées par le LIMSI-CNRS et les demandes et propositions des partenaires de terrain (médiathèque de Taverny, médiathèque de l’Hôpital Raimond Poincaré à Garches, réseau de médiathèques CIBLE95, etc.).
L’objet artistique jouera donc le rôle de médiateur entre la recherche pure et l’appropriation de cette recherche par les publics. Il fera l’objet d’une attention particulière quant aux nouvelles potentialités offertes par la manipulation de la matière visuelle, ouvrant vers des applications pédagogiques pertinentes. Cet objet, dont voici une première proposition, sera amené à évoluer dans le cadre des axes développés au fur et à mesure par le comité de pilotage du PICRI.

L’utilisation des nouvelles technologies de l’image permet de travailler sur, au moins, deux terrains complémentaires :

• Celui du spectaculaire pour le plaisir et la curiosité des spectateurs : c’est la première rencontre entre l’objet – forcément étrange dans un premier temps – et les individus.
• Celui de l’appropriation par la mise en situation des citoyens dans des dispositifs immersifs : il s’agit alors de dépasser la contemplation d’une œuvre spectaculaire, et de jouer avec des processus afin de comprendre par l’action l’impact des nouvelles potentialités de notre relation à la matière visuelle et au monde.

La mise en place d’un tel processus passant par l’éveil du désir et l’expérimentation personnelle, permettra, en fin de compte, de briser la barrière de l’étrangeté pour utiliser ce dispositif évolutif comme un outil commun capable de favoriser l’échange de connaissances sur des thématiques liées à notre thème central : l’ombre et la lumière.

Nous allons décrire tout d’abord :

• les éléments du dispositif de médiation scientifique et artistique et la manière dont nous comptons les partager avec le public, dans le cadre de la première étape « spectaculaire » évoquée ci-dessus.
• Puis nous décrirons l’utilisation de ce dispositif comme outil de médiation et d’échange pour notre objectif.

A) dispositif évolutif de médiation

1) les thématiques artistiques

Le projet donnera lieu à une appropriation artistique régulière des avancées scientifiques, issues de la recherche menée par le LIMSI-CNRS, qui mènera à la construction d’installations liées à la question de l’ombre autour des thématiques décrites ci-dessous. Ces installations constitueront la première approche par les publics du dispositif qu’ils seront amenés à s’approprier ensuite.

Le corps de l’acteur comme support de la scénographie

Nous proposons de réaliser une structuration de l’espace de jeu à partir des positions incarnées par l’acteur. Au lieu de se retrouver simplement exposé à la lumière devant les yeux des spectateurs, le comédien pourra structurer son environnement à partir des positions qu’il occupera dans l’espace de lecture.

Un travail sur les couleurs

Dans le dispositif que nous imaginons, il sera possible de travailler à la fois sur l’environnement lumineux global et sur l’ombre du comédien dans l’environnement, ce qui nous offrira l’occasion de construire une évolution continue du dialogue entre le comédien et son ombre en fonction des moments successifs de la performance.

Rapport entre la présence du comédien, ses ombres et l’image vidéo

Nous déplacerons l’utilisation habituelle de la caméra et du direct en vidéo en explorant la stylisation d’une image vidéo vers son détourage sous forme d’ombre. Dans le cadre d’un dispositif de réalité augmentée, cela implique un travail de direction de jeu visant à intégrer intimement la présence physique d’un comédien dans un dispositif lumineux global.
Traditionnellement, c’est l’inverse qui se déroule : la lumière vient accompagner une action scénique. Il s’agira ici d’impliquer le comédien et le spectateur dans un dialogue plus intime avec la matière lumineuse, rendu actuellement possible par les avancées scientifiques sur la modélisation 3D.
Ainsi, plutôt que d’être confrontés à un outil technologique, les publics seront amenés à s’immerger dans un environnement et à interagir simplement avec lui.

2) la modalité d’une conférence-lecture

La présentation de ces dispositifs prendra la forme d’une conférence-lecture.

Le choix des textes et des thématiques scientifiques se fera, en amont dans le cadre du comité de pilotage, avec les partenaires locaux de la transmission citoyenne.

Les textes choisis pourront être de plusieurs ordres : soit liés à la thématique de l’ombre et de ses manipulations (bibliographie très riches et variée pour toutes les tranches âge), soit lié à une thématique scientifique précise, soit invitant à un voyage poétique libre autour d’un jeu avec les images visuelles et verbales.

3) un dispositif immersif ouvert au public

Puis le dispositif sera présenté et ouvert pour son appropriation pratique selon les modalités d’une pédagogie appropriée en fonction des publics et la déclinaison de processus de manipulation accessible à tous. Ces modalités et processus, dont une première description est donnée ci-dessous, seront affinées dans le cadre du comité de pilotage.

B) La modalité de la transmission auprès des citoyens, l’endroit de l’échange

Pratiquement, l’appropriation du dispositif par les publics pour la construction d’un échange riche pourra se faire sous plusieurs formes et impliquer différents acteurs scientifiques, artistiques et citoyens. Chacune de ces formes rayonnera dans, par exemple, les médiathèques concernées : corpus de textes disponibles sur des tables spécifiques, publication de documents explicatifs, mise en lien avec d’autres manifestations dans les environs, etc.

Les manifestations proposées ci-dessous seront espacées dans un planning de trois ans lors du premier comité de pilotage, à raison de 2 à 6 manifestations par an, prioritairement chez les partenaires membres du comité de pilotage, mais aussi chez les institutions intéressées par un travail de longue durée.

La cohérence chronologique du planning sera redéfinie régulièrement en fonction de l’avancée des recherches mais suivra, toutefois, la ligne directrice suivante :

• Vulgarisation : le scientifique est alors fortement lié aux sciences humaines et au technologique (journées d’exposition, Fête de la science) ;
• Première approche scientifique : où le scientifique se détache du technologique pour aborder des questions plus précises par le biais de l’artistique et de la littérature (ateliers, ateliers de longue durée) ;
• Approfondissements scientifiques : questions plus strictement liées aux sciences dures (Fête de la science, rencontres sur plusieurs jours) ;
• Ouvertures : où les questions scientifiques servent pour la vie quotidienne (festivals arts numériques, démonstrations d’applications pratiques) ;
• Retour sur expérience : présentation aux scientifiques pour les inciter à sortir leurs travaux des laboratoires.

Les différentes modalités d’intervention avec les publics font l’objet d’une première description ci-dessous :

Ateliers d’initiation ou d’accompagnement au programme scolaire (public « captif »)

Des matinées et après-midi d’atelier seront mises en place pour les scolaires, dans le cadre de leur programme ou à vocation d’initiation, avec leurs professeurs.

Sur la base de textes pour enfants autour de l’ombre, les primaires pourront, en groupe, s’initier aux questions d’optique sur la lumière, les couleurs et, bien sûr, l’ombre. Les plus grands, collégiens ou lycéens des filières scientifiques, auront l’opportunité d’aborder ces questions dans le cadre du dispositif ludique que nous proposons.

Ces ateliers ouvriront sur des échanges entre élèves, scientifiques, artistes et professeurs pour permettre d’aborder les problématiques scientifiques sous plusieurs angles, de sortir la physique du cadre strictement scolaire dans lequel les élèves la connaissent.

OBJECTIFS : Vulgarisation / Spécialisation

PUBLICS : Scolaires, par classe ou par demi-groupes

Journées d’exposition (public « non-captif »)

Le dispositif, après la présentation, pourra être laissé en libre accès un ou plusieurs jours dans le hall des lieux pour être simplement expérimenté par les publics de passage. Une documentation appropriée sera mise à disposition.

OBJECTIF : Première approche d’un dispositif immersif ouvrant aux questions scientifiques

PUBLICS : Toutes tranches d’âge, en accès libre

La Fête de la Science (publics captifs et non-captifs)

Depuis plus de 15 ans la Fête de la Science permet, au niveau national, de faire se rencontrer, chercheurs et citoyens. La participation à cet événement pourra être l’occasion de développer une manifestation ambitieuse en invitant chercheurs, intellectuels, auteurs, artistes à se questionner publiquement et avec les publics sur les questions de l’ombre et de la lumière – y-compris dans les sciences humaines et la littérature – et sur les questions plus technologiques.

L’événement pourra prendre la forme de plusieurs journées « généralistes » ponctuées de moments forts destinés à des publics en particulier.

Il pourra donner lieu à d’autres événements du même type, hors de tout contexte national.

OBJECTIFS : Rencontres et échanges chercheurs-artistes-citoyens / Approches et approfondissements de questions issues des sciences « dures » et des sciences humaines / Vulgarisation

PUBLICS : Toutes tranches d’âge

Festivals et événements autour des arts numériques (publics captifs et non-captifs)

La participation à des festivals et manifestations liés aux arts numériques permettra d’atteindre des publics de jeunes adultes en les abordant par l’aspect technologique du dispositif, pour ouvrir aux questions scientifiques soulevées par la recherche menée.

Très adaptable, le dispositif pourra se nourrir des productions artistiques sonores et/ou visuelles des « Video Jockey » et des compositeurs numériques pour les relier à une approche scientifique.

OBJECTIFS : Passage du technologique au scientifique

PUBLICS : Publics intéressés aux arts numériques

Ateliers arts-sciences de « longue durée » (public captif)

Des ateliers de plusieurs jours seront organisés avec les adhérents des Maison des Loisirs et de la Culture ou des lieux liés à l’éducation populaire. Ils aborderont les questions scientifiques par leur pratique artistique, théâtre ou danse, reliée au dispositif technologique. L’expérimentation dans le temps, sous la conduite d’un artiste et d’un technicien, avec le soutien ponctuel d’un chercheur, permettra d’approfondir la question de l’ombre dans une application à la fois pratique et poétique.

OBJECTIFS : Approfondissements des questions scientifiques par la pratique artistique

PUBLICS : Publics de l’éducation populaire

Démonstrations et expérimentations d’autres utilisations du dispositif (public non captif)

Des démonstrations du dispositif, mis en place pour des applications pratiques (cf. description « Recherche » plus haut), et l’expérimentation par les publics permettront d’ouvrir la voie à un questionnement et à une meilleure connaissance de l’interactivité, replaçant l’humain au centre du contrôle de la machine, l’approche technologique engageant la réflexion scientifique.

OBJECTIFS : Ouverture sur d’autres approches / Compréhension et appropriation de l’outil en général

PUBLICS : Toutes tranches d’âge

Présentation du dispositif lors de conférences scientifiques (public captif)

Dans l’autre sens de l’échange, le dispositif pourra être présenté lors de conférences scientifiques pour inciter les chercheurs à médiatiser leurs travaux : la présentation d’un résultat élaboré de recherches scientifiques peut être accessible au grand public.

OBJECTIFS : Incitation des chercheurs à médiatiser leurs travaux et à collaborer avec la société civile.

PUBLICS : Scientifiques

La région Île-de-France soutient des recherches autour de l'image, en particulier dans le cadre du Pôle de Compétitivité Cap Digital dans lequel le LIMSI-CNRS est impliqué par la participation à des projets de recherche collaboratifs soutenus par ce pôle. La recherche qui est proposée ici renforcera les compétences locales en utilisation avancée des images de synthèse interactives (images de synthèse haute définition et haute qualité, images de synthèse impliquant de nombreux domaines connexes tels que les avatars 3D) dans des dispositifs immersifs grand public. Elle contribuera à aider au lien entre des communautés de recherche dans des domaines proches sur l'image en tant que signal et l'image en tant que support d'interaction et de communication. Elle offrira également des avancées liant les sciences pour l'ingénieur (l'informatique graphique et l'interaction homme/machine) avec les sciences humaines (création artistique, éducation, sociologie de l'entreprise).

La diffusion large des résultats et des expérimentations de cette recherche, au sein de réseaux de médiathèques entre autres, contribuera aussi à impliquer les franciliens dans les problématiques soulevées par l’image et sa compréhension, ainsi que dans une approche ludique et de qualité de problématiques scientifiques plus poussées. Le travail sur le long terme (3 ans) offrira l’opportunité de « fidéliser » un public et d’amener à la compréhension de ces problématiques de manière progressive, en posant une base solide permettant aussi de nouveaux débouchés à la recherche.