Table of Contents

>... rapport – vida 2008

Bilan 2006-2007 et prospectives pour la thématique VIDA en vue du Conseil d'Orientation Scientifique du LIMSI-CNRS 2008

Slides de présentation


Responsable scientifique : Christian Jacquemin
Membres permanents du laboratoire: Christophe d'Alessandro, Samuel Boivin, Nathalie Delprat, Brian Katz, Jean-Claude Martin, Jean-Paul Sansonnet, Frédéric Vernier
Doctorants ou post-doctorants: Rami Ajaj, Sylvain Le Beux, Markus Noisternig, Lorenzzo Picinali
Stagiaires: Tifanie Bouchara, Wai Kit Chan, Matthieu Courgeon, Fivos Maniatakos, Adrien Mazaud

Thématique “Virtualité Interaction Design et Art” (VIDA)

|Thématique “Virtualité Interaction Design et Art” (VIDA)

La thématique Virtualité Interaction Design et Art (VIDA) a été lancée comme domaine d'application de l'action transversale VENISE le 26 avril 2006. Elle a pour finalité de regrouper sous une thématique cohérente les diverses collaborations ayant lieu au LIMSI entre les domaines scientifiques et les domaines de la création allant des activités artistiques aux champs plus appliquées du design, du jeu vidéo, ou de l'architecture. Les deux premières années de ce thème ont été dédiées à la définition de thèmes d'activités spécifiques et trouvant un bon ancrage dans les ressources du laboratoire, à la constitution d'un réseau de partenaires par des projets financés ou des collaborations ad hoc, et à la diffusion de la connaissance dans ce domaine par des publications et des organisations de séminaires et d'ateliers.

Ce document résume les résultats de cette première période qui a permis de définir les contours de cette thématique en présentant les thèmes de recherche principaux qui ont été dégagés. Il définit ensuite les perspectives pour l'évolution et le renforcement des thématiques actuelles, pour l'accroissement des partenariats avec d'autres laboratoires scientifiques en sciences pour l'ingénieur ou en sciences humaines, avec d'autres artistes, avec d'autres institutions culturelles et scientifiques, ou avec des partenaires du monde éducatif tels que des écoles d'arts ou d'architecture. Enfin, en annexe, sont fournis des compléments sur les collaborations, les publications, les contrats et la diffusion de la connaissance.



activité 2006-2008

Depuis deux ans nous avons développé plusieurs axes de recherche autour de thématiques scientifiques collaboratives liées à VIDA:




Gate:3.5 (c) Bertrand Planes & Galerie Artcore


















Interface Pogany




Interface 2D/3D développée dans le cadre de la thèse de Rami Ajaj. Crédit Photographique Pierre Durand.

Matriçage Arts/Sciences

Afin de faire une synthèse des activités scientifiques de VIDA en lien avec les domaines de la création, nous présentons le tableau suivant qui met en regard les activités dans ces deux domaines pour les domaines réprésentés au LIMSI.

Thème VIDA Champs scientifiques Champs artistiques
Audio 3d pour le design et les installations sonores Son 3D
Réalité augmentée audio
Musique et chant
Arts plastiques
Instruments virtuels Interfaces haptiques
Simulation de systèmes physiques
Musique électro-acoustique
Design sonore
Composition musicale
Installations artistiques immersives Réalité augmentée graphique
InteractionSystèmes mixtes
Art projeté
Anamorphose
Vidéo-scénographie Contrôle temps réel d'environnements virtuels
Analyse d'image
Spectacle vivant (théâtre et danse)
Art vidéo
Art numérique
Rendu et contrôle de voix et visage expressifs Agents conversationnels animés
Communication affective
Spectacle vivant (théâtre et danse)
Art numérique
Modèles physiques Simulation
Interaction et contrôle temps réel de simulations
Arts plastiques
Spectacle vivant (théâtre et danse)
Architecture virtuelle Acoustique
Environnements multimedia interactifs
Architecture

perspectives

L'objectif est de poursuivre le développement de la thématique VIDA en accord avec les développements scientifiques dans la communauté des interfaces, des systèmes mixtes, des réalités virtuelles ou augmentées audio ou graphique, de l'analyse d'image, de la communication affective et des agents conversationnels animés, de la simulation… Dans la mesure où VIDA est un lieu de croisement des problématiques, un lien de rencontre entre scientifiques et acteurs du monde de la création, il est difficile de prévoir précisément quels seront les développements qui réussiront le mieux et qui seront les plus avancés dans les prochaines années. Nous proposons donc quelques directions, prenant en compte les évolutions à venir au LIMSI telles que le projet de la pièce intelligente, les agents animés, l'haptique et la simulation en réalité virtuelle, les avatars signants, l'audio spatialisé…. Plutôt que de tracer des grandes lignes abstraites, nous préférons évoquer quelques thématiques ciblées pour lesquelles les recherches sont déjà en cours.

Positionnement institutionnel

Voici quelques informations sur les projets en cours avec d'autres partenaires et leurs développements possibles:

>... annexe

collaborations

Collaborations universitaires

CEREMADE Paris 12

Nicéphore Cité,

Institut Image Université de Dijon

LRI In Situ

Helsinki University of Technology Laboratory of Telecommunications Software and Multimedia

Équipe « Acoustique des Salles » (IRCAM-CNRS)

Laboratoire d'Acoustique MusicaleÉquipe «Analyse synthèse» (IRCAM-CNRS)

CICM, Université Paris 8 et MSH Paris Nord

Pôle Design Sonore de l'École Nationale Supérieure de la Création Industrielle

Cambridge University Computer Laboratory: Alan Blackwell et Cecily Morisson

ARIAM-LAREA, Atelier de Recherche en Informatique Architecture et Modélisation, École Nationale Supérieure d'Architecture de Paris La Villette

Collaborations artistiques

Bertrand Planes: Collaboration sur mar:3D à SIART 2005 (La Paz) avec le soutien de l'AFAA (Association Française d'Action Artistique) à l’ambassade de France à La Paz, puis collaboration sur Mar:3D présenté à la Galerie Artcore en 2006 et BumpIt! présenté à le Fête des Lumières à LyonPuceMuse (Serge de Laubier)

Compagnie Incidents Mémorables (Georges Gagneré): La Pluralité des Mondes, La Filature, 2006 et Espaces Indicibles, La Filature, 2007.

CITU (Samuel Bianchini): Potential Flag, projet en cours avec la collaboration de Adrien Mazaud.

ENSCI (Roland Cahen): Plumages dans le cadre du projet Enigmes 2006-2007

Centre des Arts d'Enghien (Dominique Roland): organisation de 4 ateliers en 2007-2008 sur perception et sensorialité et sur l'utilisation des capteurs dans le spectacle vivant. Doit donner lieu à une restitution lors des Bains Numériques 2008.

références

Articles de revues

Jacquemin C., and G. Gagneré. Revisiting the Layer/Mask Paradigm for Augmented Scenery. International Journal of Performance Arts and Digital Media, 2(3), 237-258, 2007.

Chapitres d’ouvrages

Jacquemin C., and Georges Gagneré. Image de synthèse temps réel pour la performance augmentée dans le spectacle vivant. In, J. Regottaz, editor, Interfaces numériques, Hermes, 2007.

Conférences internationales avec comité de lecture

Jacquemin C., (2004). Architecture and Experiments in Networked 3D Audio/Graphic Rendering with Virtual Choreographer. In Proceedings, Sound and Music Computing (SMC'04), Paris, France.

Jacquemin C. (2005). An Eye for an Ear and an Ear for an Eye: Bidirectional Control in Virtual Multimedia Instrument Design. In Proceedings, 11th International Conference on Virtual Systems and Multimedia, VSMM'05, Ghent, Belgium.

Jacquemin C. and de Laubier S. (2006). Transmodal Feedback as a New Perspective for Audio-visual Effects. In Proceedings, International Conference on New Interfaces for Musical Expression, NIME 06, Paris, France.

Martin, J.-C., Jacquemin, C., Pointal, L., Katz, B., d'Alessandro, C., Max, A. and Courgeon, M. (2007). A 3D Audio-Visual Animated Agent for Expressive Conversational Question Answering. International Conference on Auditory-Visual Speech Processing (AVSP'2007). Hilvarenbeek, The Netherlands August 31 - September 3.

Martin, J.-C., d’Alessandro, C., Jacquemin, C., Katz, B., Max, A., Pointal, L. and Rilliard, A. (2007). 3D Audiovisual Rendering and Real-Time Interactive Control of Expressivity in a Talking Head 7th International Conference on Intelligent Virtual Agents (IVA'2007). Paris, France September 17-19.

Jacquemin, C., Planes, B., and Ajaj, R. Shadow casting for soft and engaging immersion in augmented virtuality artworks. In Proceedings, 9th ACM Multimedia 2007, Augsburg, Germany, 2007.

Jacquemin, C. Pogany: A tangible cephalomorphic interface for expressive facial animation. In Proceedings, second International Conference on Affective Computing and Intelligent Interaction, ACII '2007, Lisbon, Portugal, 2007.

Jacquemin, C. Headshaped tangible interface for affective expression. In Proceedings, 21st British HCI Group Annual Conference, HCI '2007, Lancaster, UK, 2007.

Jacquemin, C. Video-based Physical Model Animation. In Proceedings, Enactive '2007, Grenoble, France, 2007.

Ajaj, R., Jacquemin, C., and Vernier, F. User collaboration for 3D manipulation through multiple shared 2D and 3D views. In Proceedings, Virtual Reality International Conference, VRIC '2007, Laval, France, 2007.

Conférences nationales avec comité de lecture

A. Blum, A. Afonso, C. Jacquemin, B. Katz. “Expérimentation sur la Perception de l'Espace en Réalité Virtuelle Immersive Audio”. In Proc. of IHM'04, Namur, Belgique, 2004.

Jacquemin C., Afonso A., Blum A., de Laubier S., Denis M., Folch H., Genevois H., Katz B., Nugier S., and Schnell N. (2005). Design d'environnements multimodaux interactifs communicants. In Proceedings, Hypermedias Hypertexts, Products, Tools and Methods H2PTM'05, Paris, France.

Jacquemin C., and Planes, B. (2005). Travaux d'Études et de Recherche en informatique sur des thématiques artistiques. In Atelier Formations transdisciplinaires en interaction sensorielle pour la création artistique, IHM'05, Toulouse, France, 27 septembre 2005.

Jacquemin, C., Ajaj, R., Cahen, R., Ollivier, Y., and Schwarz, D. (2007). Plumage: Design d'une interface 3d pour le parcours d'échantillons sonores granularisés. In Proceedings, Conférence Francophone sur l'Interaction Homme-Machine IHM'07, Paris, France, 2007.

Rapports de stages

S. Morel, Architecture pour la génération d’émotions et leur articulation en animation faciale: Application au jeu de checkers, Stage de Master Recherche IAD, Paris 6, Juin 2005.

Autres types de rapports ou communications

Jacquemin C., and Gagneré G. (2006). Augmented Scenery: Expanding the Layer/Mask Paradigm to Flexible Surfaces and Generalized Anamorphosis. In First International Conference on Digital Live Art ((re)Actor Workshop at HCI 06), London, UK.

Jacquemin C., and Gagneré, G. (2006). La transposition du paradigme calques/masques à l'image de synthèse temps réel pour le spectacle vivant. In Journée Signal Image et Arts, CNAM, France, 1/6/2006.

Jacquemin, C. Some examples of VR or AR for Art Installations and Live Performances. In DigiFrance 2007, Helsinki, Finland, 2007.

contrats

Nationaux

projet ENIGMES (2006-2007) financé par le CNC et le Ministère de la culture sur les Partitions navigables sous la direction de Roland Cahen: C Jacquemin (partenaires ENSCI, IRCAM, ENST, LIMSI, École de Musique de Pantin)

ANR RIAM MI (2006-2007): contribution à la composition musicale et graphique pour le méta-instrument: Christophe dAlessandro, Sylvain Le Beux (partenaires LaBri, Puce Muse, LAM, IRCAM, LIMSI)

ANR SoundDelta (2007-2008): Le projet Sound Delta propose un environnement de composition musicale et spatiale pour une restitution massive et individualisée: B. Katz et C. Jacquemin (partenaires ENST, Paris 13, REMU, LIMSI, MSH Paris Nord)

ANR CARE (2008-2010): Le projet CARE vise à intégrer la Réalité Augmentée et les technologies manipulant l'émotion pour réaliser une expérience culturelle enrichie. Il s'appliquera à évaluer l'expérience utilisateur sur deux cas d'études: un ballet et un musée: Jean-Claude Martin, Christian Jacquemin (partenaires IMAG, IRIT, Intuition, LIMSI)

ANR Virage (2008-2009): Plate-forme de recherche sur les nouvelles interfaces de contrôle et d’écriture pour la création artistique et les industries culturelles: Frédéric Vernier, Christian Jacquemin (partenaires: GMEA, Compagnie Incidents Mémorables, LaBRI, LIMSI, Blue Yeti, MSH Paris Nord).

International

NoE INTUITION « Network of Excellence on vIrtual reality aNd virTUal environments applIcatIONs for future workspaces » du 6ème programme cadre IST (2004-2008) : outre la représentation des labos CNRS dans le « Core Group » de ce réseau d’excellence, le LIMSI est impliqué dans de nombreux Working Packages et est en particulier leader du WP1.2 « Structuring the European Research Era on VR » : P. Bourdot (resp. local), J.-M. Vézien, G. Bouyer, T. Convard, A. Tarault, A. Braffort, R. Gherbi, C. Jacquemin, B. Katz.

Projets en cours de soumission

dissémination

Modération et animation de la liste artsciedu [à) limsi.fr

Créée en 2005 en collaboration avec Jean-Noël Montagné (CRAS, Mains d'Oeuvres) et Jean-Baptiste Labrune (InSitu & LRI), la liste regroupe 152 abonnés et diffuse des informations sur les relations transversales entre Arts , Sciences, Éducation et Entreprises. Elle sert de soutien à l'organisation de séminaires, manifestations, publications, projets dans ce domaine. Les abonnés sont issus de domaines très variés, la diversité de son public en fait sa richesse. Modérée et donc non bruitée, cette liste est désormais un vecteur de communication important pour la communauté à laquelle s'adressent les activités de VIDA.

Organisation d'ateliers

En collaboration avec Jean-Noël Montagné (CRAS, Mains d'Oeuvres) et Jean-Baptiste Labrune (InSitu & LRI), l'organisation de l’atelier « Formations transdisciplinaires en interaction sensorielle pour la création artistique », lors de la Conférence Francophone sur l'Interaction Homme-Machine IHM'05, Toulouse, France, 27 septembre 2005.

Les actes sont en ligne.

http://perso.limsi.fr/jacquemi/IHM05_FISCA/Actes_IHM05_FISCA.html

Organisation de quatre ateliers dans le cadre du Réseau Arts Numériques organisé par le Centre des Arts d'Enghien. Ces ateliers ont pour thème Perception et sensorialité et visent à explorer les possibilités offertes par la captation des signaux physiologiques dans le cadre du spectacle vivant. Ils réunissent artistes, scientifiques, techniciens et membres de lieux de diffusion et de création.

Le premier atelier à réuni 15 personnes, 40 personnes sont attendues pour le second.Cette première série de 4 ateliers aura lieu d'ici aux Bains Numériques #3 de juin 2008. Le quatrième atelier sera au CFPTS en mai 2008 dans le cadre de la formation “régisseur vidéo de spectacle - arts numériques de la scène”.

http://vida.limsi.fr/index.php/ArtLaboScenesNumeriques

Organisation de séminaires

Afin de toucher un public large, pluridisciplinaire, composé d'artistes, de techniciens et de scientifiques, nous avons choisi d'externaliser les séminaires et de les localiser dans des lieux variés (tour à tour école d'art, centre culturel, école de design, laboratoire de sciences pour l'ingénieur…).

Trois séminaires ont été organisés en 2006-2007 et au moins deux autres sont prévus sur 2007-2008. Les résumés ou présentations sont laissées en ligne sur le site Web du LIMSI.

http://vida.limsi.fr/index.php/VidaRANSeminaire22_3_2008

http://vida.limsi.fr/index.php/Seminaire_Rueil_26_janvier_2007

http://vida.limsi.fr/index.php/Seminaire_ENSCI_26_avril_2007

Les séminaires prévus en 2008 sont