virtualité, interaction, design, & art

> Réalité Augmentée Mobile (RAM)

Le temps d'un voyage de 40 minutes, les participants ont été invités à quitter les zones touristiques pour participer aux experimentations visuelles de réalitée augmentée mobile.

PROJET R.A.M

Quatre vidéo-projecteurs puissants remplacent les lumières habituellement utilisées sur le navire pour éclairer les quais. Pendant le trajet, des images générées en temps réel ont été projetées sur les rives, s'adaptant au relief de celles-ci. Dans le prolongement des installations de projections monumentales fixes sur façades, cette installation technologique a proposé une perception nouvelle de notre environnement en le combinant avec des images virtuelles en situation de mobilité.

Ces images expérimentales ont été visibles par projection sur les quais à tribord. A l'avant de la péniche, les techniciens et ingenieurs ont effectué des réglages, modifier des paramètres durant la soirée afin d'expérimenter à l'échelle et d'approfondir la mise au point du prototype…

Le rendu a evolué tout au long de la soirée dans un travail in progress où ont été exploitées les combinaisons découvertes en live.

Le projet s'est déroulé la nuit du 5 au 6 juin 2009, à Paris entre Gare d'Austerlitz et Ivry dans le cadre du Festival Futur en Seine 2009.

Présentation lien pages 1 & 4 et lien pages 2 & 3 du prototype distribuées aux participants.

Recensé dans l’annuaire des 400 projets labellisés et financés Cap Digital.

>... Medias

>... Soutien et sponsoring

Nous remercions beaucoup tous les partenaires sans lesquels ce projet n'aurait pas pu exister:

Rendu "wireframe" lors du premier parcours du 5/6/2009 (photo Alice Jacquemin)

et une gratitude toute particulière envers Didier Bouchon pour son aide sur la capture vidéo.

>... Équipe

  • Bertrand Planes, artiste
  • Christian Jacquemin, coordination
  • Nadia Ben Youssef, suivi vidéo
  • Emmanuel Blachon, chef de projet
  • Didier Bouchon, capture vidéo
  • Wai Kit Chan, effets spéciaux
  • Matthieu Courgeon, effets spéciaux
  • Sonia Dahdou, suivi vidéo
  • Emmanuelle Frenoux, suivi vidéo

>... Présentation détaillée du projet

« Réalité augmentée mobile » est une installation vidéo embarquée sur une péniche en navigation. Plusieurs vidéo-projecteurs de forte puissance remplaceront les spots habituellement utilisés de nuit sur l'embarcation pour éclairer les quais. Pendant le trajet, des images générées en live seront projetées sur les rives en s'adaptant au relief de celles-ci.

Dans le prolongement des installations de projection monumentales fixes sur façades, ce prototype technologique propose une perception nouvelle de notre environnement en le combinant avec des images virtuelles en situation de mobilité.

Ce dispositif de vidéo projection repose sur un module de capture vidéo par des caméras infrarouge haut-débit et d'analyse multipasses d'images animées reposant sur des shaders -programmes exécutés directement par le processeur graphique. L'image vidéo captée traitée en temps réel est ensuite composée avec des effets visuels de synthèse calculés en fonction du relief et de la nature de l'environnement physique. Chaque vidéo-projecteur restitue une image augmentée qui se compose avec l'environnement fluvial naturel et architectural.

Ce projet est une collaboration entre le CNRS-LIMSI (avec Christian Jacquemin comme responsable scientifique) et Bertrand Planes (artiste plasticien).

Le développement scientifique de ce dispositif s'appuie sur les compétences du CNRS-LIMSI en réalité augmentée fixe et en synthèse d'image temps réel. L'installation et les effets visuels sont traités par Bertrand Planes : Silhouettes virtuelles, contours renforcés, particules et modèles physiques, couleurs et lumières se succéderont en cohérence avec les éléments physiques tout au long du voyage.

La réalité augmentée mobile ouvre de nouveaux champs d'applications par la superposition d'éléments numériques dans la ville de demain. Elle pourra être utile aussi bien pour la valorisation esthétique du patrimoine ou l'échange social d'information que pour des applications artistiques comme ce premier prototype inédit.

>... État de l'art et caractère innovant du projet

Le dispositif que nous proposons dans ce projet est un dispositif de réalité augmentée mobile, grand public, nocturne, et opérant en extérieur.

La réalité augmentée couvre un champ de recherche assez large qui consiste à enrichir le monde physique avec des informations du monde numérique. Nous nous intéressons ici à la réalité augmentée mobile pour des utilisateurs en situation de déplacement (Höllerer et Feiner, 2004). Ces systèmes reposent généralement sur un dispositif informatique nomade, un suivi de l'utilisateur, une interprétation de l'environnement physique pour y étiqueter des éléments connus, et un accès à des données numériques qui seront restituées à l'utilisateur via des dispositifs d'entrée/sortie portables. Le système est soit porté par l'utilisateur, soit embarqué dans un véhicule dont il informe le conducteur. Ces dispositifs sont assez coûteux en matériel portable et assez difficiles à mettre en place car, dans des situations d'extérieur, ils demandent un marquage visuel des objets du monde physique ou des programmes très évolués d'analyse d'image. Ces difficultés sont encore accrues si l'on souhaite opérer de nuit puisque les informations visuelles obtenues par vidéo sont moins précises et plus bruitées que les informations diurnes. De telles contraintes ne nous permettraient pas de réaliser un dispositif grand public à faible coût et fonctionnant quelles que soient les conditions lumineuses.

Dans ce projet nous nous orientons donc vers un dispositif de réalité augmentée mobile collectif, donc pas à un système individualisé et réservé à un ensemble d'utilisateurs réduit équipés d'un matériel onéreux, robuste, donc ne reposant pas sur des technologies d'analyse d'image fine et de repérage des éléments de l'environnement, esthétique et informatif, donc offrant aux spectateurs un rendu graphique de l'environnement conçu sur des principes artistique et révélateur d'information. Pour cela, nous nous orientons vers un dispositif de réalité augmentée qui utilise les propriétés lumineuses des surfaces projetées et relève des applications dites d'art informatif (Holmquist et Skog 2003). Ces applications consistent à visualiser des informations dans un environnement physique en s'inspirant d'oeuvres d'art ou de motifs décoratifs et en les modifiant de sorte à les transformer en support d'information (Prante et al. 2004). De tels dispositifs ne nécessitent pas d'étiqueter les surfaces sur lesquelles a lieu la projection, ils demandent juste d'adapter la projection de sorte à ce qu'elle se composite avec le monde physique en prenant en compte des informations colorimétriques obtenues par capture d'image de la zone projetée (Bimber et al. 2005). La capture d'image est faite sous éclairement infrarouge et couvre la zone sur laquelle a lieu la vidéo-projection. L'image reprojetée est construite par combinaison entre l'image capturée et retraitée et des éléments graphiques de synthèse. La capture d'image est faite à fréquence élevée et les animations, traitements et compositings sont implantés dans le processeur graphique afin d'assurer des délais de rendus compatibles avec une projection en situation de mobilité pour laquelle les retards de projection ne seraient pas admissibles. Le traitement d'image et l'ajout d'éléments de synthèse sont réalisés dans le but d'offrir une oeuvre d'art informatif mobile à destination du grand public.

Ce dispositif est donc une sorte d'intermédiaire entre l'art vidéoprojeté fixe tel qu'on le rencontre fréquemment dans les dispositifs présentés lors de la Fête des Lumières de Lyon et auquel nous avons déjà participé (Planes 2007) et la réalité augmentée mobile individualisée, telle qu'on la rencontre plutôt dans des situations de laboratoire ou des environnements très contrôlés. Il rend mobile l'art vidéo-projeté sans reposer sur les exigences technologiques très fortes des systèmes de réalité augmentée mobile d'extérieur. Il tire profit des capacités de traitement des cartes graphiques contemporaines, utilisées en particulier pour le rendu des jeux vidéo 3D, pour réaliser en temps réel le traitement de l'image via un rendu multipasse par des shaders (Jacquemin et al. 2007), et pour ajouter au rendu visuel des éléments graphiques tels que des modèles physiques ou des particules dont la dynamique et le rendu sont calculés dans le processeur graphique (Jacquemin 2008a).

Le projet Réalité augmentée mobile – Bateau Ivre se démarque des applications classiques de la réalité augmentée mobile, que nous pourrions classer comme applications intelligentes puisqu'elles supposent une connaissance sémantique de l'environnement permettant de nommer les surfaces sur lesquelles on projette afin de leur associer des informations symboliques spécifiques. Le dispositif que nous proposons suppose seulement une connaissance physique des surfaces projetées afin de leur associer des traitements graphiques appropriés ne nécessitant pas l'identification de l'objet physique sur lequel a lieu la projection. Il s'appuie sur les compétences du LIMSI en traitement d'image temps réel à des fins d'enrichissement de la projection, soit pour de l'image de synthèse pure (Planes 2006), soit pour de la combinaison entre image vidéo et image de synthèse (Planes 2005, Jacquemin et al. 2007). Les développements logiciels seront réalisés sur la plate-forme Open Source Virtual Choreographer (http://virchor.sourceforge.net/) et reposeront essentiellement sur des shaders, des programmes pour le processeur graphique permettant un traitement géométrique et graphique temps réel en plusieurs passes de rendu. Un tel dispositif a déjà été réalisé dans des situations de projection fixe à grande échelle, soit dans le cadre de pièces de théâtre de la compagnie Incidents Mémorables (Gagneré et Laroze 2005, Gagneré et Laroze 2007, Jacquemin et Gagneré 2007), soit, plus récemment dans le cadre de deux concerts d'orgue publics avec vidéo-projection de visuels sur les tuyaux d'orgue calculés à partir d'analyse temps réel de captures sonores (d'Alessandro et al 2008). Tous ces travaux sont décrits en détail sur la page de l'action Virtualité Interactivité Design et Art du LIMSI-CNRS et sur les rapports associés (Jacquemin 2008b).

Le projet Réalité augmentée mobile – Bateau Ivre démontrera donc les possibilités du traitement d’image temps réel sur site architectural en mobilité. Il s’appuie sur les recherches en réalité augmentée graphique et audio conduites au LIMSI-CNRS qui conduisent à la réalisation d’événements publics comme le projet Orgue et réalité augmentée (15-17 mai 2008), un concert d’orgue mêlant vidéo projection temps réel sur les tuyaux d’orgues et traitement audionumérique pour plonger les spectateurs au cœur de l’instrument (Google : orgue augmenté). Ce projet avait déjà été réalisé en collaboration entre l’artiste plasticien Bertrand Planes et le LIMSI-CNRS.

Le projet Réalité augmentée mobile – Bateau Ivre se situe dans la perspective de faire évoluer progressivement les travaux de réalité augmenté conduits au LIMSI-CNRS vers des situations de mobilité. Une collaboration se construit entre le LIMSI-CNRS et le laboratoire Systèmes de Vision Embarqués du CEA-LIST (Dir. François Gaspard). Elle vise à combiner progressivement le savoir faire du laboratoire Systèmes de Vision Embarqués en analyse d'image en situation de mobilité, recherche portant en particulier sur les véhicules du futur, avec le savoir faire du LIMSI-CNRS en traitement d'image et rendu de synthèse temps réel. L'alliance de ces compétences conduira, à terme, à développer des travaux de recherche avancés sur la réalité mobile en extérieur avec de la vidéo-projection interactive s'appuyant sur des modèles 3D de l'environnement reconstruits à partir d'image vidéo en mouvement. Une telle architecture permettra de gérer la distorsion de la projection et une identification des bâtiments afin de modifier le contenu du rendu en fonction des informations acquises sur l'environnement de projection.

Une collaboration se met également en place avec le laboratorie Fraunhofer HHI de Berlin autour d'un projet appelé Virtual Mirror et consistant à augmenter la tenue vestimentaire d'un utilisateur afin de lui donner une idée de son apparence s'il portait cette tenue. Les compétences du LIMSI en synthèse d'effets spéciaux temps réel ainsi que dans la réalisation de dispositifs artistiques vont donner lieu à une collaboration dans le cadre d'un séjour de coopération scientifique début 2009.

>... Références scientifiques

d'Alessandro C. et M. Noisternig. (2008) Orgue et réalité augmentée, 15 et 17 mai 2008, Eglise Ste Elisabeth, Paris. C. d'Alessandro organiste, M. Noisternig traitement du son temps réel avec la collaboration scientifique de C. Jacquemin LIMSI-CNRS .Orgue Augmentée

Bimber, O., Emmerling, A., Jkennerm T. (2005) Embedded Entertainment with Smart Projectors, IEEE Computer, vol 38(1), pp 48-55.

Gagneré G. et Laroze F. (2005) La Pluralité des Mondes de Jacques Roubaud. mise en scène: Georges Gagneré - dramaturgie: Franck Laroze. Création: 1 & 2 Décembre 2005, La Filature, Scène nationale de Mulhouse.

Gagneré G. et Laroze F. (2007) Espaces indicibles. mise en scène: Georges Gagneré - dramaturgie: Franck Laroze. Création: 11 et 12 mai 2007, La Filature, Scène nationale de Mulhouse.

Höllerer T. and S. Feiner, Mobile Augmented Reality, (2004) Telegeoinformatics:Location-Based Computing and Services, H. Karimi and A. Hammad, eds. Taylor and Francis Books, 2004.

Holmquist, L. E. and Skog, T. (2003). Informative art: information visualization in everyday environments. In Proceedings of the 1st international Conference on Computer Graphics and interactive Techniques in Australasia and South East Asia 2003. GRAPHITE '03. ACM, New York, NY, 229-235.

Jacquemin C., and Georges Gagneré (2007). Revisiting the Layer/Mask Paradigm for Augmented Scenery. International Journal of Performance Arts and Digital Media, Vol. 2 Number 3, 237-258.

Jacquemin, C., Planes, B., and Ajaj, R. (2007). Shadow casting for soft and engaging immersion in augmented virtuality artworks. In Proceedings, 9th ACM Multimedia 2007, Augsburg, Germany.

Jacquemin, C. (2008a). Allegra: A New Instrument for Bringing Interactive Graphics to Life. In Proceedings, 10th ACM Multimedia 2008, Vancouver, BC, Canada.

Jacquemin C. (2008b). Bilan 2006-2007 et prospectives pour la thématique “Virtualité Interaction Design et Art” (VIDA). Rapport Techniques LIMSI-CNRS. Rapport Scientifique VIDA 2008

Planes B. (2005). Mar:3D, Biennale SIART 2005 (avec Corentin Hamel) Lapaz/Bolivie. Bertrand Planes, artiste plasticien avec la collaboration scientifique de C. Jacquemin LIMSI-CNRS.

Planes B. (2006). Galerie Artcore, 12 Mai au 20 Juin 2006, Paris. « Gate 3.5 ». Bertrand Planes, artiste plasticien avec la collaboration scientifique de C. Jacquemin LIMSI-CNRS.

Planes B. (2007). Bump it! Installation, 2007, Lyon Fête des Lumières, Fluxus, Galerie Roger Tator. Bertrand Planes, artiste plasticien avec la collaboration scientifique de C. Jacquemin LIMSI-CNRS.

Prante Th., R. Stenzel, C. Röcker, N. A. Streitz, C. Magerkurth Ambient (2004) Agoras – InfoRiver, SIAM, Hello.Wall® In: Extended Abstracts and Video Proceedings of the ACM Conference on Human Factors in Computing Systems (CHI’04), Vienna, Austria, April 24-29, 2004. pp.763-764.

>... Objectifs du prototype et enjeux pour le porteur de projet / et les partenaires

Le projet Réalité augmentée mobile – Bateau Ivre vise à montrer la faisabilité et l'intérêt d'une installation de réalité augmentée mobile d'extérieur ne nécessitant pas de reconnaissance de l'environnement. Suite aux échos très favorables des spectateurs du spectacle Orgue et Réalité Augmentée organisé par le LIMSI-CNRS en mai dernier à Paris à l'Eglise Ste Elisabeth, nous avons souhaité reproduire ce type d'événement scientifique et artistique en visant de nouveaux enjeux scientifiques et technologiques. Le spectacle avait eu lieu dans un cadre de projection fixe mais nécessitait une procédure de calibration manuelle à chaque nouvelle installation des projecteurs. Nous avions mis en place une méthodologie rapide de saisie des éléments géométriques calibrés sous Inkscape un logiciel d'édition vectorielle puis un export vers l'application de rendu 3D Virtual Choreographer. Cette première expérience avait montré notre capacité à maîtriser une projection sur un espace physique de grande taille et à réaliser des méthodes de saisie rapide de calibration et d'export vers un moteur 3D (entre formats XML).

Pour nous orienter progressivement vers la réalité mobile avec identification des surfaces de projection et mettre en place des collaborations avec des équipes d'analyse d'image, nous souhaitons désormais incorporer progressivement la mobilité dans nos dispositifs de réalité augmentée. Ce projet est un pas dans cette direction.

Par ailleurs, cette manifestation sera également l'occasion de valoriser les capacités de traitement d'image et de synthèse de systèmes complexes animés développés au LIMSI et implantés dans le moteur de rendu 3D Virtual Choreographer. Par cet outil, nous pourrons offrir des visualisations interactives ancrées sur les caractéristiques lumineuses des images captées en vidéo à des fins artistiques et informatives. Pour la partie informative, les visualisations seront paramétrées en fonction d'informations reçues par réseau sans fil qui moduleront les caractéristiques graphiques ou dynamiques de ces systèmes complexes. Les rendus se feront en temps réel et pourront suivre un flux vidéo animé par les déplacements de l'embarcation parce qu'ils reposent sur les outils de traitement d'image et d'animation d'objets dynamiques dont les calculs se font sur le processeur graphique. Pour le compositing avec des éléments de synthèse, nous choisirons des modèles de particules et des systèmes masses-ressorts dont la fluidité est bien à même d'accompagner et de s'ancrer sur un flux vidéo animé (Jacquemin 2008).

>... Description technique et fonctionnelle du prototype

Le projet Réalité augmentée mobile – Bateau Ivre vise à ajouter à un univers physique des données issues d'un traitement de l'image sur laquelle a lieu la projection et un apport d'image de synthèse interactive. Il repose donc sur de l'image de synthèse vidéo-projetée et calibrée par une analyse d'image afin de modifier le rendu en fonction des zones sur lesquelles sont faites les projections. Le dispositif que nous proposons ici réalise donc un environnement mobile de réalité augmentée dont le rendu suit le déplacement d’un véhicule (terrestre ou aquatique). Comme les dispositifs fixes, il repose sur une analyse et une synthèse d'image en temps réel, mais avec les temps de transfert des images vers le PC, de traitement et de synthèse d’image suffisamment rapides pour être compatible avec un déplacement du dispositif à faible vitesse (10-15 km/h maximum). Il ne nécessite ni reconstruction 3D de la géométrie, ni utilisation de marqueurs dans la mesure où les effets sont produits par traitement d’image et par reprojection sur la zone de capture.

Les développements scientifiques qui seront réalisés dans ce projet s’appuient sur le savoir faire du LIMSI-CNRS en réalité augmentée fixe pour en faire une extension à des dispositifs mobiles. Cela suppose d’une part de disposer de matériel performant (caméra infra-rouge haut débit et station de travail graphique) et, d’autre part, de réaliser les traitements d’image sur le processeur graphique et non dans le processeur central. En raison du rendu vidéo-projeté, ce dispositif ne peut fonctionner que de nuit.


Le dispositif se compose de deux modules : un module de capture et d’analyse d’image et un module de synthèse qui utilise en entrée les informations fournies par l’analyse.

La capture/analyse. La capture a pour but de prendre une image des surfaces vidéo-projetées qui est la plus semblable possible à la projection inverse des vidéo projecteurs afin qu’elle soit calibrée sur la vidéo-projection. Le calibrage est correct si la vidéo-projection de l’image captée par la caméra est ajustée sur la surface vidéo-projetée. Afin que la captation ne soit pas perturbée par la lumière du vidéo-projecteur, l'éclairement des surfaces captées (et vidéo-projetées) est fait par des projecteurs infra-rouge puissants. Il n’y a pas conflit entre la lumière infrarouge et celle des vidéo projecteurs car elles se situent dans des zones disjointes du spectre lumineux. La capture d'image se fait par des caméras vidéo infrarouge positionnées au dessus des vidéo-projecteurs, le plus près possible de la lentille afin d’obtenir une image des surfaces vidéo-projetées facilement calibrable avec la projection des vidéo-projecteurs. L'éclairage public sera bien sûr visible dans la capture infrarouge, mais cela ne sera pas problématique.

L’image capturée est ensuite transmise à la carte graphique qui l’analyse par des filtres successifs au moyen d’un rendu multipasse s’appuyant sur des shaders (des programmes écrits dans un langage exécutable par le processeur graphique). Chaque passe réalise un filtre particulier dont le résultat peut ensuite être utilisé par la passe suivante. Parmi les filtres pouvant être appliqués, il y a des filtres de détection de contours, de segmentation, d’analyse du mouvement…

La synthèse. La sortie sur le vidéo-projecteur est la composition d’une image de synthèse et de l’image captée ayant subi des traitements esthétiques ou fonctionnels. L’image de synthèse est produite à partir d’informations numériques externes issues de données en ligne obtenues par réseau sans-fil ou de données résidentes sur la station de travail graphique. L’image captée par la caméra est calibrée à la vidéo-projection. La calibration est faite une fois pour toutes en fonction de la position de la caméra de capture par rapport au vidéo-projecteur.


La réalité augmentée mobile peut avoir de nombreuses déclinaisons dans le cadre de la ville augmentée afin d’offrir des regards renouvelés et enrichis sur son architecture. Elle peut être utilisée pour la valorisation esthétique du patrimoine en donnant des apparences inédites ou historiques aux bâtiments, elle peut servir un travail artistique situé et, enfin, elle peut jouer un rôle social comme le report d’informations sur la vie dans un édifice, ses fonctions, l’humeur de ses habitants, les échanges d’informations… Le projet Réalité augmentée mobile – Bateau Ivre appartient à la deuxième catégorie, il s’agit d’une déclinaison artistique du dispositif.

>... Localisation, installation, utilisation du prototype pendant l'événement Futur(s) en Seine

J'ai rêvé la nuit verte aux neiges éblouies,
Baiser montant aux yeux des mers avec lenteurs,
La circulation des sèves inouïes,
Et l'éveil jaune et bleu des phosphores chanteurs !

Arthur Rimbaud, Le Bateau Ivre (extrait)


Le projet de réalité augmentée mobile présenté ici sera instancié par une application artistique initiulée Bateau Ivre. Cette installation consistera en un système de réalité augmentée mobile qui sera embarqué sur un bateau mouche. Il se déplacera lentement le long de la Seine pour projeter sur les bâtiments fluviaux des effets visuels augmentant la vue qu'en auront les spectateurs sur la rive ou embarqués sur le bateau. Le dispositif sera contrôlable en temps réel à partir d'un ordinateur portable connecté en réseau aux ordinateurs fixes réalisant le traitement d'image et le rendu de synthèse. Le dispositif (en particulier sur sa partie synthèse d'image temps réel) pourra également être modifié par des informations reçues de l'extérieur. Nous n'avons pas encore précisément choisi quelles pourront être les informations qui viendront influencer les visuels offerts par le dispositif, mais nous pensons que la réceptivité de ce système aux données extérieures pourrait être l'occasion de connecter notre projet à des informations fournies par d'autres projets présentés simultanément dans le cadre de Futur(s) en Seine.


L'intention artistique de ce projet est d'offrir un nouveau regard sur l'architecture fluviale, pôle attractif pour le tourisme. Les Bateaux-Mouche font un parcours séculaire sur la partie fluviale historique de Paris. Ils sont équipés de puissants projecteurs pour les visites de nuit afin de montrer une image la plus claire et lisible possible des monuments parisiens qui bordent le fleuve. Bateau Ivre est une déclinaison du dispositif de réalité augmentée mobile s’appuyant sur la tradition touristique des visites fluviales. Il offrira une nouvelle image des édifices qui le bordent dans l’esprit des retouches et embellissements que l’on réalise en traitement d’image sur des photos personnelles. Il renouvelle le regard sur des architectures vues et reproduites à des millions d’exemplaires par les touristes qui empruntent ces voies.

L’ « éclairage » fourni par le logiciel de traitement d’image temps réel ne dévoilera que ce que le logiciel voudra laisser paraître : contours renforcés, présence de silhouettes virtuelles, effets de peinture, fausses transparences, ombres et lumières additionnelles… Il proposera un parcours atypique, un voyage dans le voyage. Le bateau suivra le fleuve, mais les passagers seront dans une baie. Alors que le passage incessant et régulier des Bateaux-Mouche aux spots surpuissants ne joue finalement qu'à contrecarrer les effets de la nuit, Bateau Ivre jouera avec la nuit et en fera son alliée, proposant une méthode de visualisation qui s'apparente à celle des animaux nocturnes ou des poètes.


Les figures suivantes (1 à 4) illustrent quelques effets visuels que nous souhaiterions mettre en place. Nous décrivons l'architecture générale du système au 1.8. Certains de ces effets (1, 2 et 4) s'apparentent à ceux que l'on peut utiliser dans les logiciels de photo tels que Photoshop ou Gimp, ceux de montage de vidéo tels qu'After Effects, et des logiciels de Vjaying tels qu'Arkaos ou Modul8 (masquage, filtrage, colorisation, seuillage, bruit..). En faisant un rendu temps réel de ces effets et en les ancrant sur une image captée et calibrée à la vidéo-projection, on donne l'impression d'une retouche live du paysage, en l'occurrence des bâtiments bordant le fleuve quand ils seront éclairés par les vidéo-projecteurs. D'autres effets (tels que le 3) reposent sur une composition avec des objets 3D animés, essentiellement des particules ou des modèles physiques. Ces effets diffèrent des effets statiques car ils ajoutent à l'environnement des éléments animés, mais ancrés sur l'image vidéo, donc sur les objets sur lesquels ils seront projetés.


Fig. 1. Exemple de rendu augmenté d’un bâtiment (détection de contours)


Fig. 2. Exemple de rendu augmenté d’un bâtiment (digitalisation via un rendu ASCII)


Fig. 3. Exemple de compositing temps réel entre un système masse ressort et une vidéo nocturne


Fig. 4. Exemple de pixellisation sélective pour obtenir une coloration des parties sombres


>... Environnement du prototype

Le dispositif est construit sur les composantes suivantes:

  • un périphérique de capture: une caméra vidéo haute fréquence (50hz,transmission Ethernet),
  • un PC pour la capture vidéo, les effets spéciaux et la synthèse d'image, ainsi que le traitement des données externes,
  • un périphérique de sortie: un vidéo-projecteur.

La base logicielle est la plate-forme Virtual Choreographer, un moteur de rendu Open Source qui peut récupérer des images vidéo live par la librairie ffmpeg. La programmation de la partie GPU du rendu se fait en Cg, un langage de shading de nVidia. La figure 5 décrit plus précisément les composantes matérielles et logicielles de ce projet.



Fig. 5. Architecture du dispositif



La base logicielle de ce projet existe déjà ainsi que des shaders simples d'effets visuels et des shaders de rendu de modèles physiques. En revanche, les shaders pour les effets spéciaux plus complexes et pour les particules doivent être conçus dans le cadre de ce projet. La base logicielle initiale permettra d'accélérer le temps de développement et assure que le projet pourra être mené à bien dans les délais prévus. Les capacités d'échange d'information par le réseau faciliteront le contrôle temps réel de l'application ainsi que la synchronisation des rendus.

>... Installation du prototype

Le prototype sera présenté sur un trajet fluvial la Seine dans ou hors de Paris ou sur un trajet du canal St Martin. Le prototype sera donc installé sur un bateau et sera déployé en 2×2 exemplaires afin d'offrir une zone de projection assez large sur chacun des côtés du bateau. Il y aura donc 4 caméras de capture, 2 ou 4 PC de traitement selon les besoins de ressources CPU et GPU, et 4 vidéoprojecteurs de sortie. Afin de pouvoir éclairer les surfaces et améliorer la capture vidéo, le prototype comportera également 4 projecteurs infrarouge. Le dispositif sera installé sur un bateau mouche pendant deux jours consécutifs. Le bateau sera loué deux journées complètes afin d'assurer le temps d'installation avant la présentation en soirée et la nuit.

La structure du dispositif est illustrée par la figure 6.

Quelques équipements annexes sont à prévoir: un PC portable pour contrôler à distance le dispositif, les câbles pour le réseau informatique et l'alimentation électrique, et éventuellement un équipement de communication à distance afin de recevoir en temps réel des données issues d'autres applications de Futur(s) en Seine.




Fig. 6. Schéma technique du dispositif embarqué.


>... Avancement

Un système de pixelisation :



Un système de création de relief :



Un système de déformation pour donner un effet d'eau :



Un système de particule avec un moteur physique qui détecte les variations d'intensité :


sans déformation


particules sans déformation


avec la déformation


particules avec déformation


Un effet de plasma :


Effet plasme



Enfin l'interface de contrôle des effets :