VIDA

À Mains d'oeuvres avec le soutien du CRAS Lab (Itinéraire)
Le samedi 22/03/2008: 14h00-18h30

Programme

• Partie scientifique (14h00-16h00): capture, apprentissage et création

• Partie réflexion (16h30-18h30): enjeux artistiques en biocapture et émotions

14:00-14:30 Jean-Julien Filatriau, Laboratoire de Télécommunications et Télédétection. Université catholique de Louvain, Historique de l'usage des signaux physiologiques dans un contexte de composition et performance musicales (Home page)

14:30-15:00 Ludovic Denoyer, LIP6, Université Paris 6, L'apprentissage automatique et ses applications au traitement de signal (Home page),

15:00-15:30 Michel Bret, Université Paris 8, expérimentation interactive sur l'apprentissage (supervisé ou non) appliqué aux arts vivants mettant en jeu le corps (vivant ou virtuel) (Page sur Automates Intelligents)

Page sur l'utilisation des Réseaux neuronaux pour l'apprentissage d'animations.

15:30-16:00 Marie-Charlotte Lepelley, Université de Caen, Présentation du système de capture “zerowire” de l'activité EMG

Résumé de Jean-Julien Filatriau

Etat de l'art des recherches menées dans le domaine de la “bio-music”, consistant à utiliser la captation de signaux physiologiques (EEG, EMG, EKG, GSR etc…) pour la composition/performance musicale.

Résumé de Ludovic Denoyer

Dans cet exposé, nous présenterons les notions de base de l'apprentissage automatique à travers des cas concret d'utilisation. Nous présenterons ensuite des méthodes simples permettant d'utiliser l'apprentissage pour le traitement de signaux temporels type signaux bio-physiologiques.

Résumé de Michel Bret

Introduction aux méthodes connexionnistes dans la création artistique

Présentation de danseurs virtuels interactifs et autonomes:

• Interactifs: Captation du monde réel (caméra, audio, biométriques, motion capture, …)
  Captation du monde virtuel (le corps virtuel a une connaissance de sa position ainsi que de son environnement).
  Production d'une animation en temps réel.
• Autonomes: Leurs prise de décision sont les sorties de réseaux neuronaux.

Notions abordées:

• Constitution d'un réseau neuronal de type MLP (multi layered perceptron) et apprentissage supervisé par la méthode de la rétropropagation de l'erreur.
• Construction d'un réseau complétement connecté et apprentissage non supervisé par la méthode de la cohérence de flux.

Pédagogie:

• Visualisation interactive d'expérimentations en temps réel.

Résumé de Marie-Charlotte Lepelley

Etude cinématique et électromyographique de la réalisation d'un geste graphique, le “jeté” chez les danseuses expertes. L'application de notre recherche académique sur la danse s'est concrétisée par la création d'une chorégraphie avec la compagnie Pedro Pauwels: “Sens 2 ou la mélodie musculaire du corps dansant”.

16:30-17:00 Bénédicte Adessi,

• Structure de la représentation et opération de sens: la question de place du sujet dans l'acte artistique. Au regard de la psychanalyse et de la sémiologie. Débat possible sur la différence avec la place du sujet pour les champs scientifiques.
• Proposition de travail de groupe autour de l'étiquetage: Propriocéption - représentation - expression: étude pour une classification du mouvement.

17:00-17:30 Jean-Marc Matos, Compagnie Kdanse présentera un texte de Philippe Baudelot, Digital Performances & Cultures. “EMOTIONS - THEATRE ET DANSE QUELLE APPROCHE?”

17:30-18:30 Discussion animée par Jean-Marc Matos et Bénédicte Adessi sur les enjeux artistiques des ateliers du Réseau Arts Numériques.

Retour programme

Signaux physiologique pour la synthèse sonore

Approche de sonification: présenter le son pour présenter des informations

Approche de composition: bio-musique

Bio-signaux: EEG, EMG, BVP, temp doigt, batts caridaque, respiration, conductivité de la peau

Intérêt: cooréler état émotionnel et processus musical - relation proche compositeur/musique

Musique contrôlée par les signaux du cerveau et musique EMG

1. musique et EEG

1964: Alvin Lucier: ondes alpha (une bande de fréquence des EEG liée à la relaxation) -> amplification des signaux et percussions

Andrew Brouse a refait une version de cette performance

Andrew Brouse: The InterHarmonium

Synthèse sonore basée sur la fondamentale absente

Brain Computer Interface - ondes mappées sur un moteur de composition algorithmique Eduardo Miranda (Université de Plymouth)

EEG -> signal analysis -> music composition -> piano

Listening to the mind (ICAD 2004)

Appel à sonification basé sur un dataset d'EEG d'une personne écoutant de la musique 10 sonifications retenues un site web

2. Musique et EMG

Belfast: BioTools plate-forme réutilisable et modulaire B. Knapp, MA Ortiz Perez

Basé sur biomuse (bandes + interfaces bluetooth + MaxMSP/Eyesweb) + algos plus complexes de traitement en cours de réalisation

Proposer un toolkit pour une prise en main rapide des capteurs

Atau Tanaka a composé pour Biomuse, utilisé comme contrôleur EMG

aime ces capteurs pour lui donner l'impression de sculpter le son

apprécie l'effet de fatigue qui en résulte

Diamair MA Ortiz Perez: composition pour choeur et chorale

• interaction via capteurs EMG sur les bras du chef d'orchestre
• soloistess équipés de capteurs GSR
• chorale sans capteurs mais qui influent sur l'état émotionnel des soloistes via leur champ

Out of time MA Ortiz Perez Soundtrack basée sur les niveaux de stress

Biomusique a une certaine expansion: inclus dans les sujets de NIME 08 et ICMC 08

Challenges: hardware, algos de reconnaissance des gestes, utilisation des signaux

References bibliographiques

(LIP6, Univ. Paris 6)

Apprentissage et signal

Problématiques générales de l'apprentissage et leur application au traitement du signal

Permettre à un ordinateur d'apprendre: applications et intérêts

Modification d'un système permettant de faire mieux la deuxième fois que la première

Apprentissage: organisation de l'expérience et travail sur les données

Apprentissage à partir d'exemples: travaille au niveau des modèles et non au niveau de la tâche, adaptatif, peu coûteux, modèles explicatifs

Applications de l'apprentissage sur l'image: reconnaissance d'image, reconnaissance de textes, reconnaissance de signaux EEG

Principes généraux de l'apprentissage:

• apprentissage supervisé: reconnaissance
• apprentissage non supervisé: découverte
• apprentissage renforcement: autonomie

Apprentissage supervisé, probablement le plus intéressant dans le cas des signaux

classification, segmentation, reconnaissance et prédiction

alignement de signaux corrélés

détection de motifs dans les signaux

Applications: reconnaissance de la parole, reconnaissance de l'écriture manuscrite

Apprentissage supervisé Signaux + espace de projection Déduire de ces signaux une frontière de déduction Travail de séparation de l'espace Un nouveau signal est projeté dans cet espace et sa catégorisation en est déduite en fonction de la séparation calculée sur les exemples d'apprentissage

Possibilité de segmentation de signaux via des modèles stochastiques (modèles génératifs): avec des états successifs. Un état mental -> un type de signal

Paramètres sur les changements d'état

modèles complexes assez lent

recon parole, de l'écrit, reconnaissance du geste

une erreur peut avoir des conséquences sur la suite temporelle

LIP6 développe un logiciel de traitement du signal qui sera compatible avec processing

Modèles d'apprentissage nécessitent un expert

Problématique du signal tel qu'on le perçoit dans le cerveau

Comment simuler des images mentales

Modèle artificiel

Perceptron multicouche sur une image sans apprentissage

Apprentissage par rétropropagation de l'erreur

• image en entrée - postures en sortie

puis animation à partir de ces couples images/postures sur des images ne faisant pas partie de l'ensemble d'apprentissage

Animation à partir d'exemples

Introduction du signal de la pulsation cardiaque sur le personnage autonome et animation correspondante de l'avatar

Animation du personnage par le son: avec apprentissage préalable

Logiciel personnel développé depuis les années 70

J'ai mis en ligne à la fin du fichier pointé par: http://www-inrev.univ-paris8.fr/extras/Michel-Bret/cours/bret/images/videos/reseau.htm deux vidéos expliquant l'utilisation possible des réseaux neuronaux (apprentissages supervisés et non supervisés) à partir du deuxième capteur du fichier continu_rigide_2.tab.

Utilisable par des artistes

Utilisé plutot par des spécialistes

Relation image/muscles: modèles physiques / connexion entre RN et modèle d'animation

Un modèle pour de nombreux types de signaux

Les modèles géométriques de corps peuvent être variés

Lois de l'univers virtuel: gravité

EMG: applications scientifiques et artistiques

Signal EMG: bouffées d'excitation associées à un geste

Exemple d'étude: étude de processus de coordination lors de la réalisation d'un mouvement complexe

• Caractéristiques cinématique obtenues par système VICON: 17 marqueurs

• capture électromyographique (16 muscles): jambe active (activités phasiques), jambe de maintien…

• Normalisation de l'activité musculaire

Chorégraphie avec Pedro Pauwels où l'activité électromyographique est transformée en signal sonore

EMG sans fil ZeroWire

Transmission du signal par wifi (->10m)index.php.html

8h autonomie

16 bits

Choix des représentations par le sujet qui les condense pour en donner un nouveau sens

Le contenu manifeste n'est pas reconnaissable

Comment la représentation que l'on construit est investi de l'expression d'un désir latent du sujet

Toute forme émergente non contrôlable peut être la condition d'expression de désir

Trois instances pour la représentation:

• le figurable - l'imaginaire - la perspective
• les possibilités de la figure: le symbolique
• le réel: réalité du sujet désirant

Le sujet artistique réorganise l'ensemble des éléments pour créer des liens associatifs révélant sa condition de sujet (ex perspective avec la vue monoculaire)

Pour chaque peintre il y a une organisation symbolique

Le psychanaliste est un sujet désirant comme le sujet.

Qu'est-ce qu'un pattern récurrent? Quand on est sur un dispositif, on recherche des régularités. Lien intéressent entre scientifique et artiste: régularité et répétition.

Travailler sur l'acte manqué sur le plan artistique

Capation = radigraphie. Pouvoir attraper ces hasards an captation.

Comment s'approprie-t-on les capteurs? Tous ces choix sont déterminants dans les dispositifs créatifs.

La névrose produit du sens dans un travail de signification: lapsus, substitutions… Il y a des effets de sens par métaphore (associations par proximité) et métonymie (généralisation, spécification, similitude)

Processus: travail d'expression issu du rêve - images catalysant des figures - sens mis en oeuvre par des figures de rhétorique

Voir peut-être du côté du surréalisme (Breton)

Intérêt de l'expression psychosomatique: mesurer de l'impact du discours Fabienne a travaillé sur l'impact des événements sur notre psychisme Ces événements opère chimiquement sur la pensée sur la poésie

Jean-Baptise: réminiscence somatique, préparer des réactions aux événements existence de la représentation externe somatique

Tout capteur peut devenir zone érogène en fonction des traitements qu'on va en faire

(Compagnie Kdanse)

Importance de l'écriture

La chute d'un personnage virtuel, les rumeurs du corps ne sont pas les mêmes représentation

L'organisation de l'espace scénique est importante

La scène est-elle réellement transformée? On voit beaucoup de juxtaposition Le public veut que l'on magnifie le présent Apport du dispositif? Doit-on le mettre en avant?

Perception de l'intensité de l'expérience des acteurs Si le dispositif offre des contraintes physique cela sera perçu par le spectateur

Simulation: quand on est sur scène on constuit avec des codes une émotion que l'on traduit par des codes Cette émotion forge une qualité de présence du perfomeur

Etre bardé de capteur peut être exploité pour produire une nouvelle réalité qui n'existe que là Elle n'est pas pour autant dévalorisée parce qu'elle ne ressemble pas à la peur ou à la joie du quotidien

Le dispositif est instrument qui donne à voir ce que l'on ne connaît

Il s'agit d'une prothèse qui permet de construire une partie de l'état - le spectateur construit le complément et en voit ce qu'il peut/veut voir

Joyce McDougall a étudié l'impossibilité de percevoir les émotions des autres et s'est intéressée au théâtre

Captation permettent de transmettre des informations qu'on ne peut transmettre par le langage

Comment toucher quelqu'un sans être présent - on pourrait recevoir les signaux électrique de l'EMG d'autres performeurs

Quelle actuation?

Prothétisation de l'être humain. Les êtres humains s'équipent de capteurs. Cyberpunks. Cybersexualité. Nouveauté: à grande échelle. Depuis un mois une société japonaise vend un dispositif pour définir les qualités de sourire.

Le logiciel facereader permet de reconnaître les émotions à partir du visage

Les capteurs réduisent l'information.

Thierry Giannarelli a des actuateurs qui recréent des sensations kinesthésiques

Les capteurs peuvent être un outil de conception - mais il n'est pas forcément nécessaire de garder le processus sur scène Qu'est-ce qui nous reste de l'expérience des capteurs?

Une danseuse de Jean-Marc s'est laissée emporter par son émotion au point de créer des failles dans son interprétation

Le spectacle vivant a pour raison d'être de permettre l'expression vivante à laquelle le spectateur s'identifie

La représentation scénique dit plus que l'expression

Transposition du réel - possibilité d'offrir un espace de tension

Actuateur: stimulation magnétique transcranienne