Ludovic Denoyer

apprentissage – reconnaissance

Grégory Lasserre

énergie du corps

Bénédicte Adessi

plasticienne – danse

retracer des parcours qui seront une représentation du schéma corporel

Fabienne Gotusso

Arts plastiques, spectacle vivant, processus d'écriture scénique dynamisé par l'interdisciplinarité.

Toxicologie des événements

Que se passe-t-il dans notre cerveau?

Impressions dans le corps…

David Blair

video

spectacle vivant – archeologie des médias

Jérôme Dupire

technologie du handicap – capteurs de mouvement – biomécanique et physiologie du mouvement

captation des émotions -> interaction joueur/jeu

projet en cours sur un jeu ubiquitaire

compagne danseuse

Yann Le Herissé

Spectacle vivant – théâtre et danse – régie générale

stage régie vidéo l'an passé

première création vidéo sur captation

projet sur le réseau X (Thierry Coduys)

Jehan-Julien Filatriau

Thèse de Louvain la Neuve – diplôme d'ingénieur – master acoustique

A participé à eNTERFACE ces trois dernières années

Loïc Kessous

Physicien – master d'acoustique – thèse d'informatique musicale

reconnaissance des émotions dans la parole

postdoc au LIMSI – contrôle de la voix de synthèse sur le méta instrument

représentation visuelle du son

Pierre-Henry Vulliard

Musique et électro-ancéphalogramme

Travaille avec le Scribe et le méta-instrument

Sophie Dunoyer

CFPTS – observatrice

centre de formation pour les régisseurs du spectacle

Travail dans le cadre du réseau des arts numériques

Rami Ajaj

Doctorant en informatique – IHM 2D/3D

rendu 3D interactif – collaboration avec les artiste (déjà travaillé avec Cie Incidents Mémorables)

interaction avec un système instable

Corinne Leconte

Ex stagiaire CFPTS

codirection de via expressa – horizons assez différents

graphiste – scénographiste – théâtre gestuel et visuel – manipulation de l'image comme une marionnette

stage: Clarisse Bardiot et Florence Corin (CdA) et Sandrine (Interface Z): ouverture et travail sur Isadora

Création pour spectacle jeune public – recherche sur l'objet et sur la marionnette

Pratique l'aïkido – intéressée par la captation / répulsion – nouveau langage

Dangerosité de ce langage

Woudi

Compagnie Woudi-Tat – projets de spectacle vivant et d'interaction homme machine

Depuis 2003 fait fonctionner la résistivité du corps humain et environnement

Ont monté des spectacle autour de ce dispositif

Relation de peau à peau qui a servi une relation qui est de l'ordre du sociologique

Faire évoluer ce dispositif

Faire partager cette exploration: séance de massage

Dimension du corps et relation du spectateur

Eric Pottier

Technicien du son – formateur sur le son et la vidéo au sein du CFPTS et de l'INA
A mis en place la formation de régisseurs vidéo

Ont incorporé les outils numériques suite à une rencontre avec le CECN

Ce stage se fait en partenariat avec le CECN – une nouvelle édition commence en janvier

Besoins en formation – observateur – réponses en formation

Jean-Marc Matos

Compagnie Kdanse: recherche expérimentation création

Interface des langages du corps de l'image et du son

2 projets Gameplay – ParaSite

Interfaces caméra et capteurs physiques

Tentative modeste de capteurs physiologique avec la respiration

Dramaturgie de l'inclusion des capteurs

Captation de la respiration pour bloquer le dispositif

Intéressé par les ateliers par son expérience antérieure – met en place Corpusmedia qui regroupe 3 régions midi-pyrénnées – languedoc – catalogne

Travaille à l'évolution du réseau – vers des ateliers arts-sciences nomades

Benoît Lahoz

Formation d'arts plastiques

Capteurs via formation avec G Gagneré – a ouvert un champ

Question du rapport en temps réel entre comédien et spectateur

Ecrit un texte et un spectacle – rapport au texte

Questions

• rapport fin entre les émotions du comédien et les émotions du spectateur via l'interface scénographiée
• rapport entre la matière brute (les éléments) – alliance – studio azurro
• question de l'écriture – comment intégrer la captation dans l'écriture: quelle symbolique utiliser?

Marlene Puccini

Perception du mouvement et du déséquilibre

Créé une chambre blanche en déséquilibre

Le spectateur fait se mouvoir l'espace (limite des perceptions)

Prolongement sur l'espace acoustique – renversement de l'espace acoustique

Capteur = prolongement du corps dans l'espace

Atelier à Marseille

Marie-Hélène Tramus

Travail sur des dispositifs développés par M Bret sur la création de personnages virtuels

Captation de mouvement – ne pas utiliser directement la captation mais de la traiter pour faire des apprentissages

Acteur virtuel interactif – autonomie et improvisation

Emotion et expression

Difficulté d'analyser à partir du mouvement l'émotion du corps

Apporter en parallèle de la captation du mouvement des données physiologiques

Ivan Chabanaud

Installation de RV immersive

Acquisition 6DOF

goût pour le public et interrogation sur les rapports entre l'art et le public

Public est amené à partager via un spectacle

Question sur comment se passe la relation avec le public

Incidents

Motel numérique pour la diffusion de contenus

Flux des artistes – flux des spectateurs

Collaboration avec Biogène – interfaces légères – acquisition signaux physiologiques

Julien Marro-Dauzat

Société Biogène après parcours en sciences cognitives

Développement de capteurs adaptés aux environnements du spectacle vivant

Avoir un signal propre que l'on peut reverser sur des productions multimodales en entrée et en sortie

Comment rendre autre chose que du son ou de l'image (cf Thierry Giaranelli et sensations kinesthésiques)

Capteurs sur une personne -> modification de la perception corporelle

Perception très contextuelle

Bénédicte -> travail d'organisation formelle – création de langage

Les muscles portent nos capteurs: muscles = 7e sens selon Berthoz

Électromyographie sur le spectacle vivant difficilement opératoire pour ne pas être en opposition avec les danseurs

Contradiction entre sensation et perception: illusion kinesthésiques (opposé au retour d'effort)

Trompe le cerveau

Effet McGurk: réalité reconstruite par la perception

Le cerveau construit l'information de façon multimodale

Dominique Roland

Réseau arts numériques

Atelier en développement – excuse de Francis Lestienne qui ne pouvait venir

Armando Menicachi

Commission consultative commission DRAC Île de France

Coproduire des créations liées aux thèmes

Invitation aux montages avec Pascal Ruiz – Ettore Scola

Propositions artistiques – installations – scène conventionnée sur les écritures numériques

Rechercher des propositions qui font sens – confrontation à la mise en place des projets

Spectacle avec des musiciens cubains en multi-écran et générativité temps réel

Personnages animés par ce chanteur

Extraction du décor pour insérer les chanteurs dans l'espace scénique

Corps scénique et corps sonore et tactile

Sophie Fabien

Plasticienne – installation interactive à partir de stimuli – électroancéphalogramme / IRM

action sur des images de synthèse

Frédérique Steiner-Sarrieux

cie qui travaille avec les nelles technologies

assistante en vidéo et lumière

élève ENSATT

formation conception lumière

mémoire sur l'éclairage et

Intérêt: évolution dans le temps

classification: reconnaître qqchose de connu

prédiction: prédire une certain posture

Apprentissage: si on veut détecter la peur

acquisition de signaux dans une situation

permettent d'utiliser la multimodalité

peut être dépendant de la personne

faire un répertoire de forme est assez complexe

on peut aussi annoter a posteriori

Paris6: apprentissage avec peu d'exemples

Faire en sorte que les conditions d'apprentissage ne soient pas trop pénibles pour les performeurs

Un des buts: développer des outils qui soient assez robustes

La captation n'a pas forcément à être réutilisée en spectacle

La captation peut être aussi vu comme un outil d'écriture

Phase d'écriture indispensable – comment mettre en relation captation et expression/sensation

Séparer la phase d'apprentissage et temps-réel

Essayer de voir par les expérimentations

3 pistes

• expression
• dramaturgie: choix territoires de recherche
• sensations

Les modes vont s'enrichir de façon croisée

L'apprentissage du sujet parlant

sensation = premier langage – crée les conditions de l'association symbolique

3 catégories

• interprètes
• metteurs en scène
• public

Place du sujet à l'intérieur d'un processus

Respiromètre nasal

Se calibre sur les 3mn entre 0 et 40°

Adapté aux danseurs

capte les variations de température

Respiromètre thoracique

Chanteurs d'art lyrique sur une performance

3 capteurs ventre / thorax et gorges

Suivant le trajet de l'inspiration

Prédiction de la voix chantée (domaine de recherche de l'odologie)

Intéressé par le top du signal

Analyse temporelle pour la prédiction: ce qui va sortir et quand ça va sortir

Capteur du rythme cardiaque

cardio de sportifs détournés

comptage de la pulsation cardiaque

bien adapté aux danseurs

Élecro-oculographie (EOG)

amplification nécessaire

assez précis: information sur le déplacement de l'oeil

signal 10hz

bien adapté à la scène

par exemple pour le suivi de partitions

se positionne par des électrodes

Capteurs à l'intérieur d'un ballon

• deux flexomètres
• accéléromètre deux axes

Jean-Noël Montagné

Démo combinaisons captation et rendu

Formation PD et Processing / Arduino & CUI & MultiIO (~100 euros) peut connecter jusqu'à 2000 capteurs en connexion USB

Formations professionnelles aux enseignants

OpenSource et OpenObjet

craslab.org

Fabien Maheu

Formation ESIM/P7

Artiste vidéo – poésie sonore – poésie concrète

Michel Bret

Professeur P8 – interactivité dès 70

Intéressé par l'interactivité intelligente sur un dialogue bidirectionnel

Intelligence Artificielle – vie artificielle

Saisie d'information plutôt que de commande

Mesure médicale -> crée différence

Question commande -> question du sens

Territoire musical: musique du corps

Qu'en fait-on? Que raconte-t-on?

Capte une émotion plutot qu'un geste?

Il y une organicité et physicalité

Compagnie Escale a travaillé sur les bruits du corps

On revient au sens du spectacle en tant que spectacle vivant

Il n'y a plus manipulation d'un environnement

Humain narcissique ou utilisation d'une entropie pour arriver à un spectacle plus organique

Intéressant pour la relation que le spectateur peut avoir au spectacle

Brise le rapport regardant / montreur

Relation de partage d'imaginaire

Fabienne: fournisseur de donnée – processus qui stimule la connaissance

Bénédicte: effet de miroir – le sujet se perçoit dans son image

Met en rupture le phénomène narcissique qui ne peut plus se jouer

Met en échec la situation du narcissisme

Quelle lisibilité pour le spéctateur: ce n'est pas linéaire

Pose des questions scénographique forte

Woudi: Y a-t-il suffisamment de capteurs? On avait évoqué expression et dramaturgie: ensemble dans un cadre spécifique. Position de spectateur

Bénédicte il peut y avoir un retour en temps réel

On peut intervenir pendant les performances pour le faire évoluer

Jean-Noël: avoir des informations sur les objectifs. Est-ce une dimension pour intégrer dans un spectacle? Est-ce juste un atelier comme participantes?

Différence entre avancée d'une pensée avec plusieurs propositions artistiques?

Bénédicte: un projet artistique sur l'émotion sur des formes qui génèrent des images qui retracent un parcours kinesthésique.

S'est prêtée au jeu pour voir ce qu'on peut trouver et a combiné cela avec son travail de plasticienne.

Sensation de vrille sur des points d'appui.

Ouverte à d'autres pistes.

Performance: spectacle plus que des gens posés

Fabienne: a son propre projet et se met à disposition pour une performance avec son travail de recherche artistique qui croise son expression artistique dans l'atelier.

Jean-Noël: état performatif.

Jean-Noël: voir les difficultés technologiques

Il n'y a pas d'esthétique issue de la captation.

Esthétique issue du temps réel indépendante de la captation.

Paramètres physiologiques très forts. Corrélation entre corps et diffusion.

Christian: il n'y a pas indépendance entre la captation et l'esthétique

Marie-Hélène: on a des habitudes. L'entrée mouvement capté est généralement utilisée dans des univers géométriques.

Intérêt hier dans l'état d'experimentation: on été dans la marmite.

Continuum intéressant. Capteurs qui ne restituent pas immédiatement l'émotion.
On est sur des paramètres qui sont les symptomes de l'émotion.

On a vu des courbes VisLab. Connexion à un image.

Etat de recherche: découverte de nouveaux capteurs qui prennent des fragments d'émotion.

C'est bien qu'il n'y ait pas tout de suite des images fantastiques.

Intuition libre qui permet de réfléchir sur ce qu'on peut faire en sortie.

Impact sur le spectateur.

Julien: Notion d'empathie qui est au coeur de la reconnaissance des émotions

Empathie consciente posturologie/ -> ces capteurs donnent l'accès à l'empathie insconsciente

Ne se limite pas au seul système neuro-végétatif

Zones motrices activées chez le spectateur

Marlène: ce qui se passe chez chacun est différent: on prend ce qui nous intéresse

Pistes d'explorations: corps invisible que l'on révèle.
Fait appel à la sensibilité de chacun

Jean-Noël: même émerveillement que la première échographie

Ivan: par rapport aux capteurs posturologique

L'utilisation des capteurs physiologique requiert des traitements plus intelligents

Fabienne: la transmission des informations m'échappe

Reprendre certaines expériences – comment être plus efficace pour avoir des résutlats plus lisibles

Installer des moteurs de traitement des données

Interface entre ces signaux et le rendu attendu

Christian: pas très optimiste sur le traitement statistique

Ivan: on peut accoupler ces systèmes avec des systèmes qui rendent un contenu émotionnel

Installer un système dans lequel on va insérer des informations qui vont

Christian: explication patch graphique

Capture événements et vidéo pour rejeu en temps réel

Michel: On pourrait s'appuyer sur des réseaux de neurones qui reposent sur les modèles connexionnistes

Christian: OK pour le partage des données (image et captation)

droit à l'image à signer

Jean-Noël: intérêt pour le danseur de lui fournir un retour de lui ou d'autres protagoniste ou du traitement effectué

Image qui marche au-dessus de 25 image seconde / pas de latence

Marie-Hélène: paramètres transformés en son : son == musique

Bénédicte: on n'a pas de reconnaissance des émotions

Jean-Noël: beaucoup subtilités à l'oeuvre -> aiderait le processus avec plus d'information

Woudi: la pulsation a augmenté lors des passages plus actifs

Quand on arrive pour une première sur scène des émotions influent les émotions intentionnelles

Jean-Noël: plutôt utiliser des capteurs internes: capteurs d'ondes cérébrales

Il existe des stés aux US qui vendent des capteurs cérébraux

Pierre-Henri: On a les mêmes pbs de classification sur les EEG – mêmes pbs de bruit

Julien: EEG: repérage des zones actives. Temporelles: plus complexes

Multiplicité des signaux.

Emotion continue ou discrète – très gros pbs de traitements

IRM bonne déf spatiale mais mauvaise information spatiale

Philippe Baudelot: codification de la représentation des émotions

Sur quelques émotions de base: voir ce qui se passe quand elles sont représentées

Geste ou expression d'une émotion

Prendre les images d'un peintre du 18ème siècle et travailler avec un acteur sur ces expressions codifiées

Le fait de représenter ces émotions les provoque

Loïc: avoir moins d'émotions et travailler sur la valence

Pouvoir étiqueter les émotions simplement

Pouvoir étiqueter les émotions et les sortir en continu pour les étiqueter dynamiquement

Utilisera des perceptrons multicouche pour étiqueter les données

Quelles dimensions va-t-on choisir pour étiqueter les données?

Bénédicte et Fabienne: prévoir des moments de surprise

Bénédicte: possibilité au public de dire des choses en direct

Marlène: quels paramètres prendre? Pense au travail de Bill Viola.

Situation d'effroi

Ralenti sur la situation d'effroi

Consigne: ne pas aller trop vite pour les émotions

Christian: présentation sommaire de ANVIL

modèle PAD

Ivan: autres types de capteurs/capteurs oculaires

nappe avec des capteurs posturaux/ flexomètres accéléromètres/respiromèttres…

Travailler en négatif – capter sur la partie commune des émotions dans un duo

Quelle continuité avec l'autre

Quelle empathie entre les acteurs

Capter une similarité d'émotion

Question de la confiance en la machine – processus de séparation

Fabienne: accès à un autre espace

Jehan-Julien: faire des séquences d'enregistrement assez courtes

faire une banque de données ~30sec/1mn

faire des captures sur des séances courtes

Jehan-Julien: compliqué de dire que l'on peut tirer quelque chose des signaux

postulat: l'image produite traduit des émotions

Accepter que l'on ne contrôle pas l'instrument

Jean-Noël: état de danse (concept en danse)

Benoît: les traces sont très différentes d'une personne à l'autre

Si on était capté dans des dimensions différentes on pourrait trouver des points communs ou des différences

Jehan-Julien: peut-on maîtriser ses expressions physiologiques

consigne: vivre les émotions en interne

Benoît: on est jamais tout le temps dans un état

Projet sur captation distante, streaming et restitution multimodale de signaux physiologiques

Champs scientifiques

• visualisation, sonification, restitution tactile de l'information
• steaming de l'information
• captation de signaux physiologiques
• protection des données individuelles (encryptage de l'information)
• création numérique et spectacle vivant
• histoire de l'art

Domaines d'application

• physiologie de l'effort
• arts de la scène
• handicap, vieillissement
• objets communicants
• muséographie
• santé/pédagogie

Financements

• Digiteo
• ANR
• Ministère de la Culture (DICREAM)
• Région IdF (aspects sociétaux)
• Europe

Partenariats

• Labos scientifiques
  • STAPS
  • infoviz
  • communication affective
  • design ergonomie
  • IHM multimodale
  • capteurs
  • médecine
• Culture
  • artistes (spectacle vivant, performance, installations)
  • centres culturels et artistiques
• Industrie
  • capteurs
  • monitoring
  • diffusion sans fil
• Éducation
  • prévention des risques
  • formation sportive
  • formation artistique

• étiquetage dramaturgie
  • excitation/tension qui apparaissent dans le signal
  • tension: rythme, arythmie, absence respiration…

• retour: son/visuel/autre… (HP avec BF)

player de données

physiologie permet de donner des qualités différentes

avoir un feedback

Niveau contenu

Niveau institutionnel: plus difficile pour les personnes indépendantes