>... Références artistiques et scientifiques internes

>... Musique du corps

Loïc Kessous

Mise en son musicale des signaux physiologiques.

Le système sonore et musical que j'ai réalisé est ce que l'on peut appeler une “sonification” des capteurs physiologiques. En effet, les signaux reçus des capteurs sont utilisés soit directement à la source d'un processus de synthèse sonore, soit comme modificateurs de synthétiseurs. Les signaux des capteurs en eux-même sont inaudibles car soit correspondant à des impulsions qui seraient associées à un bruit désagréable par l'auditeur, soit pour d'autres signaux, parce qu'ils correspondent à des signaux à une fréquence inférieure au premières fréquences que nous pouvons entendre. Des processus utilisant des résonances, des filtrages ainsi que des effets audionumériques ont été mise en oeuvre afin de transformer ses signaux en sons audibles et musicaux. A ce stade, si le rendu sonore restitue essentiellement l'information des capteurs, la “teinte” des sons produits est déjà de l'ordre d'un choix ésthétique. Dans un deuxième temps, afin d'étendre et d'améliorer les aspects esthétiques, a été ajouté un processus basé sur les répétitions retardées d'un impulsion excitant des résonateurs accordés de manière harmonique avec le résonateur correspondant à la pulsation originel du capteur cardiologique,mais dans un registre plus aiguë. L'énergie associée à ce processus est également contrôlée par le capteur correspondant.

>... Narratifs vidéo/ordinateur

David Blair

Je travaille dans la narratifs vidéo/ordinateur, à la fois à long metrage, et avec la narratif algorithmique [en tant que méthode de composition et de présentation]. Pour mon projet actuel, j'ai beaucoup travaillé avec la capture de mouvements classique. Le nom du projet est: “La Cinématographie Telepathique des Tribus Perdus”

Dans le contexte de l'atelier, permettez-moi de mentionner: Le physiologiste Hans Berger, croyant que le corps d'être une machine de la thermodynamique, ont tenté de trouver la relation entre l'activité du cerveau et les phénomènes psychiques. Il a commencé par l'étude de la circulation sanguine dans le cerveau, à l'aide d'instruments et de la chirurgie. Puis, il a changé à la technique électrique. En 1924, il a inventé l'électroencéphalogramme, mais la machine gardé secret, alors qu'il a continué à donner des conférences sur la télépathie.

Imaginez que, en 1931, d'un cinéma brut télépathique est arrivé en Mandchourie, la colonie Japonais dans le nord-est de la Chine. Ce cinéma est réalisée par `benshi`, interlocuteurs du cinéma muet japonais qui se sont par l'écran et réaliser le film comme il joue. Le “dispositif” de la télépathie est partiellement apparente grâce 3d danseurs qui apparaissent dans l'espace imaginaire, mais thermodynamique.

“La Cinématographie Telepathique Des Tribus Perdus” [1] est un film particulier télépathiques formulées et présentées à cette époque, et un film sur la genèse de ce film. Il ya une la version cinéma, et une version “live” [également d'exister à l'installation]. Je suis recherches sur la manière de créer une histoire “live”, en combinant benshi, danseuse/s, et montage vivre de la vidéo/son/ 3d, y compris transformation des corps 3d. Bien sûr, cela devrait être fait par des capteurs et des machines modernes.

contact: blair chez telepathic-movie.org


>... Dispositif physio-électrique

Woudi

Notre travail s'articule autour d'un dispositif que nous avons utilisé dans différents spectacles depuis 4 ans. Lié à la physiologie car utilisant la conductivité électrique du corps humain, il fonctionne par le toucher entre un porteur du dispositif et tout élément conducteur. La zone de contact et la pression exercée fait varier une valeur de résistance. C'est donc la peau et le corps qui deviennent dans ce cas objet d'interaction et d'exploration. Appliqué à deux personnes, ce contact est riche d'émotions puisqu'il est lié à la rencontre physique avec l'autre. Ces caractéristiques nous ont permis de créer des spectacles interactifs avec le public dans lesquels l'humain était au centre de nos préoccupations. Nous travaillons aujourd'hui à un projet immersif images et sons à travers des séances de massage; voyager à l'intérieur de son propre corps…Je souhaiterai faire partager ces expériences en résonance aux recherches autour des capteurs physiologiques et échanger avec les différents artistes et chercheurs que cette proposition intéresse.

Artistes: Isabelle Tat et Woudi

woudi-tat

Structure: La Cie des Colis-Bruits






>... Analyse des émotions

Jean-Claude MARTIN (LIMSI-CNRS)

Le LIMSI est membre de l'association HUMAINE qui fait suite au réseau d'excellence HUMAINE sur l'étude des émotions dans les interactions homme-machine (http://emotion-research.net/) . Le LIMSI participe aux groupes de travail W3C Emotion Incubator Group sur la définition d'un langage de représentation dans les systèmes affectifs http://www.w3.org/2005/Incubator/emotion/XGR-emotion/.

J'effectue mes recherches sur la communication multimodale en communication humaine et en communication homme-machine. J'étudie les émotions complexes et leurs expressions non-verbales (expressions faciales, gestes, postures). J'ai travaillé dans le cadre du réseau d'excellence HUMAINE (http://emotion-research.net/) sur l'annotation multimodale d'interviews télévisées émotionnelles montrant des émotions complexes et la manière de les faire rejouer par des personnages expressifs (coopération avec L. Devillers).

Je m'intéresse aux différences individuelles dans la perception et l'expression multimodale (age, sexe, personalité, profil cognitif). Je collabore avec S. Buisine sur les liens entre traits de personalité (ex: extraversion) et perception / expression des émotions. Je collabore également avec J. Nadel & O. Grynszpan sur la perception par des personnes autistes de comportements emotionnels exprimés par des personnages virtuels.

J'anime une action au LIMSI sur les têtes parlantes et particulièrement les expressions faciales d'émotions (coopération avec C. Jacquemin).

Pour ce qui est des Arts Virtuels, je coordonne pour le LIMSI un projet ANR sur les ballets virtuels qui a été accepté et va démarrer en janvier 2008 et sur lequel je vais collaborer avec Christian Jacquemin. Je m'intéresse également au théâtre et aux théories de l'acteur.

REFERENCES

Martin, J.-C., d’Alessandro, C., Jacquemin, C., Katz, B., Max, A., Pointal, L. and Rilliard, A. (2007). 3D Audiovisual Rendering and Real-Time Interactive Control of Expressivity in a Talking Head. 7th International Conference on Intelligent Virtual Agents (IVA'2007). Paris, France September 17-19. LNAI 4722, Springer. C. Pelachaud, J.-C. Martin, E. André, G. Chollet, K. Karpouzis, D. Pelé (Eds.). p 29-36. http://www.limsi.fr/Individu/martin/research/articles/iva-tp-v17.pdf

Grynszpan, O., Martin, J.-C., Nadel, J. (accepted) Multimedia interfaces for users with high functioning autism: an empirical investigation. International Journal of Human - Computer Studies (IJHCS).

Martin, J.-C., Abrilian, S., Buisine, S. and Devillers, L. (2007) Individual differences in the perception of spontaneous gesture expressivity. 3rd Conference of the International Society for Gesture Studies. Chicago, USA: 71. (Abstract) http://gossip.ucr.edu/mandana/isgs/ISGS07Abstracts

Martin, J.-C., Niewiadomski, R., Devillers, L., Buisine, S., Pelachaud, C. (2006). Multimodal Complex Emotions: Gesture Expressivity And Blended Facial Expressions. International Journal of Humanoid Robotics. Eds: C. Pelachaud, L. Canamero. Vol. 3, No. 3,September 2006, 269-291 http://www.limsi.fr/Individu/martin/research/articles/humanoid-v36.pdf


>... Interface tangible pour l'expression temps réel

Christian Jacquemin

Sujet: Pogany est une interface tangible en forme de tête que l'on manipule par approche ou contact avec les mains. Elle a servi pour réaliser de l'animation expressive de visages par combinaison d'expressions élémentaires. Je souhaiterais l'étendre à d'autres formes d'expression (musicales, graphiques…) pour lesquelles la manipulation tactile d'un visage pourrait faire sens.

Référence: un article décrivant l'interface et une vidéo associée.

Mêler vidéo projection et projecteurs lumière

Sujet: La vidéoprojection et la projection lumière sont souvent considérées comme antinomiques. Pourtant ce mélange est déjà utilisé et donne des résultats intéressants car ce sont des lumières de force, d'inertie, de chaleurs différentes. Avec une captation vidéo temps réel, on peut utiliser l'image vidéo pour créer des masques afin de ne projeter la vidéo que dans les zones d'ombre du projecteur. On peut aussi utiliser des effets lumineux sur de la vidéo semblables à l'effet d'un projecteur et les mêler à de vrais projecteurs… J'aimerais poursuivre ces expérimentations dans le cadre de dispositifs scéniques mêlant ces deux media lumineux.

Fibres animées en temps réel pour l'expression dramaturgique

Sujet: La puissance des cartes graphiques contemporaines permet de les utiliser pour combiner effets graphiques et animations phyisques. Par ce biais on peut réaliser l'animation de systèmes physiques fins et massifs tels que des turbulences, des systèmes masses-ressorts, des fibres… J'aimerais mêler ces systèmes à de la captation vidéo pour que le performeur puisse en temps réel les manipuler, les étirer, les agiter comme des fibres ``vivantes“.

Référence: un article soumis décrivant l'interface et une vidéo associée.

Contact: Christian point Jacquemin à limsi point fr

>... Interaction avec un objet non-stable

Rami Ajaj

Sujet: Le développement de systèmes masses ressorts en utilisant la puissance des cartes graphiques s’accroit. Certains développements présentent des masses et des arrêtes tandis que d’autres présentent des objets géométriques déformables reliés à une structure masse ressort (drapeaux, cylindre déformable, etc.). J’aimerais travailler sur les possibilités d’interactions avec un objet géométrique lisse (une sphère) qui se transforme en un objet instable.

vidéos associées.

Contact: rami point ajaj à limsi point fr

>... Captation des émotions

Jérôme Dupire (Université Paris 8 - THIM)

J'effectue mes recherches dans le contexte des interfaces et des l'interaction homme machine. De formation initiale en biomécanique et physiologie du mouvement, j'ai réalisé une thèse d'informatique, au laboratoire CEDRIC du CNAM Paris, portant sur l'interaction 3D. Mon arrivée au laboratoire 'technologies et handicaps' a orienté mes réflections vers la multimodalité des interactions dans le contexte de la suppléance sensorielle.

Il s'agit pour moi d'un premier contact avec des applications concrètes de la captation des émotions. Je souhaite découvrir les projets menés dans les différents domaines, artistiques ou non, ainsi que les matériels et méthodes existants. Je souhaite que cette expérience m'aide à apporter des éléments de réponse à la question de la captation des émotions comme aide à la conception d'interfaces adaptées à un public d'utilisateurs déficients sensoriel ou moteur.

contact: jerome point dupire at univ tiret paris8 point fr


>... Oeuvre comportementale

Sophie Fabien

Je débute la préparation d'une oeuvre comportementale agissant en plusieurs étapes: Création d' un film basé sur sa personnalité et le vécu du participant à visualiser par lui-même. Son activité psychique (diverses émotions en fonction du film visualisé) est mesurée par un EEG qui, à son tour, influe sur un paysage de synthèse mouvant. il s' agit d' une relecture d' une ancienne pratique japonaise. J'ai déjà déposé une candidature pour une bourse à Kyoto et ai le feu vert de Florent Aziosmanoff du cube.


>... Installation pour un être virtuel

Félicie d'Estienne d'Orves (IN-VISIBLE), Stéfane Perraud (PétaHertz)

Tout deux artistes plasticiens, ils conçoivent des installations et des performances. En ce moment ils sont sur le projet Amibes #02 Amibes#02, une installation numérique

Désormais le vivant, qu'il soit génétiquement modifié ou le fruit d'une recherche, peut devenir la propriété privé d'une personne morale tel que les groupes agro-chimiques et pharmaceutiques. Ceci pose plusieurs questions sur ce qu'est encore le vivant aujourd'hui…

Si nous évoquons aujourd'hui le mot “intelligence artificielle” pour un être virtuel, nous savons que son intelligence ne dépassera pas celle d'un micro-organisme ou celle d'un insecte. Mais questionne-t-on ici son intelligence ou plutôt son autonomie? Pourrait on comparer cet acteur autonome à une cellule ou une amibe? Si c'est le cas pourrait-on imaginer pouvoir faire répertorier les êtres virtuels autonomes au même titre que les animaux? Dans ces deux oppositions entre vivant-brevetable et virtuel-vivant quelle est la frontière?

Amibes est donc une installation interactive prévu pour une dizaine personnes. Le public est invité à appréhender un acteur autonome. Selon les déplacements des groupes de personnes, “Amibes” s'organisera pour former des signes (flèche, croix, lettre, mots…) qui permettront aux spectateurs d'appréhender cet être virtuel et peut être de dialoguer avec lui…

Nous souhaiterions dans la même lignée continuer ce projet sur des acteurs vivant.


>... Composition musicale "neuro-interactive"

Pierre-Henri Vulliard

Saxophoniste en musique africaine, je travaille actuellement avec des chercheurs bordelais sur un projet de logiciel de composition musicale “neuro-interactif”. Celui est basé sur une captation eeg de l'état de vigilance de l'auditeur, analysé par Matlab puis converti en Midi pour interagir dans la composition musicale avec Csound et PureData.

J'aimerais élargir le procédé dans différentes directions:

- capture d'émotions - utilisation d'autres types de biocapteurs - diffusion de scénario multimédia - intégration dans un spectacle vivant musique/danse/video

Contact: vulliard@aol.com


>... Capture du geste sensible et composition sonore

Pascal Baltazar:

Je souhaiterai, lors de ce laboratoire, travailler sur l'interface Pogany pour une application sonore: Le dispositif proposé serait destiné à un auditeur-manipulateur unique, coiffé d'un casque audio et manipulant cette interface. En fonction des zones approchées ou caressées de l'interface, des matières sonores seraient diffusées avec un dispositif de spatialisation binaurale, de manière à donner à sentir une sensation de masses sonores évoluant à l'intérieur du crâne de l'auditeur. Outre l'aspect de spatialisation, ces masses sonores -probablement générées par un système de modélisation physique du type “gélatine”- seraient animées de comportements de déformation, expansion, réduction, torsion….etc. sensibles à la manipulation de l'auditeur-manipulateur. L'objectif de ce dispositif, que je souhaiterai continuer à développer à l'issue de l'atelier, consisterait à créer un espace intime et sensible d'appréhension du son comme matériau, notamment pour des visées pédagogiques à l'attention des jeunes enfants.

Pascal Baltazar, compositeur: http://www.zkrx.org


>... Dispositif d'Implication Perceptive

Thierry Giannarelli

Utiliser le Dispositif d'Implication Perceptive Le DIP est un dispositif artistique qui permet grâce à des vibrateurs neuromusculaires de mettre en jeu la conscience corporelle du spectateur pour le conduire à se sentir corporellement impliqué dans l'acte artistique, pour plus de détail consulté le site www.limparfait.org. Le DIP est issu d'un désir de faire naître un art implicatif. Il permet au spectateur d'accroître sont sentiments de participation à l'action artistique mais de telle sorte que cette participation ne mette pas en jeu les processus de l'action volontaire ni de l'analyse de la situation perceptive. C'est à dire en dehors de tout processus de pensée.

Je propose de mettre l'outil à disposition de ceux qui le souhaite et d'aider chacun à écrire sa première pièce pour le DIP (pièce qui utilise vos modes d'expressions habituels danse, musique, poésie, vidéo, etc).

Contact Thierry Giannarelli: thierry at limparfait point org

Danseur et chorégraphe, neurobiologiste de formation, je cherche une danse qui mette en jeu le processus même de la constitution de soi comme personne consciente.


>... Interactivité entre corps et supports d’images

Proposition de Sandrine Bonnet et Mathieu Sanchez

Interagir avec des supports mobiles, des zones d’images en mouvement…

Organiser l’interactivité entre corps et supports d’images…

Nous sommes à la recherche d’un corps possible de l’image: support-objet, support solide, liquide ou gazeux… Ce corps de l’image évoluerait selon le vécu sensoriel d’une personne en scène: provoquer une relation organique entre le/la danseur/euse et ce corps de l’image , une relation nerveuse, sensitive créant un dialogue déterminé par la réactivité en proscrivant le simple mappage mécanique.

A travers le choix des matières, la forme, les articulations, les attributs dynamiques de ce support et la réalisation de son mode de vie, nous désirons pouvoir échanger avec régisseurs, mécaniciens, informaticiens, scénographes….que cette perspective intéresse.

Le Chiendent, Sandrine Bonnet et Mathieu Sanchez: asso point lechiendent à free point fr

Le Chiendent

>... Le mouvement en tant que représentation proprioceptive du corps

Bénédicte Adessi

Il s’agit d’un travail expérimental sur la notion de mouvement en tant que représentation proprioceptive du corps.

Des disciplines complémentaires contribueront à l’élaboration de systèmes interactifs permettant de mettre en relation par le biais de captations, les mouvements du corps et des images numériques:


L’objectif défini par la plasticienne Bénédicte Adessi est donner une représentation du mouvement qui s'apparente au schéma corporel.

Cette représentation n'est pas de l'ordre de la reproduction de l'apparence du corps, mais plutôt celle de l'élaboration des formes, construites sur le modèle de l'élaboration mentale (donc invisible).

S'il s'agit de mouvement, la problématique n'est pas de pouvoir le répéter ou de le répliquer mais plutôt d'en repérer le phénomène (au sens Kantien et, ou physique) et d’en développer via les outils informatique une représentation.


Bénédicte Adessi

Artiste plasicienne b.adessi@caramail.com

Performeur

Laurent Chanel

A.R.N

now@a-r-n.org

Association Cré-Art

>... La représentation des activités cérébrales

Fabienne Gotusso

je souhaite, dans le développement de mon projet intitulé Soma, pouvoir explorer et voir représenter en projection sur un écran, les différentes parties du cerveau qui entrent en activité, lorsque celles-ci sont stimulées en temps réel par la réception d’informations diverses, dès lors que la personne en situation, joue, bouge, entend … Accéder ainsi à la vie, au cœur de la cavité crânienne, au moyen d’un appareil placé sur la tête du performeur, (appareil semblable à celui que l’on utilise pour réaliser une échographie, avec l’usage d’un logiciel spécifique, le tout connecté à un vidéo projecteur). Localiser et suivre l’agitation des zones et centres nerveux mobilisées, quand l’être humain éprouve des sensations, vit des émotions. Les scénarios diffèrent à l’écran, selon la personnalité du sujet et des consignes de jeu. À expérimenter.

Projet spectacle vivant: Soma

Structure: Les prunes électriques.

Contact Fabienne Gotusso: fabiennegot at orange point fr

http://fabiennegot.wordpress.com/