À Mains d'oeuvres avec le soutien du CRAS Lab (Itinéraire)
Le samedi 22/03/2008: 14h00-18h30
Programme
14:00-14:30 Jean-Julien Filatriau, Laboratoire de Télécommunications et Télédétection. Université catholique de Louvain, Historique de l'usage des signaux physiologiques dans un contexte de composition et performance musicales (Home page)
14:30-15:00 Ludovic Denoyer, LIP6, Université Paris 6, L'apprentissage automatique et ses applications au traitement de signal (Home page),
15:00-15:30 Michel Bret, Université Paris 8, expérimentation interactive sur l'apprentissage (supervisé ou non) appliqué aux arts vivants mettant en jeu le corps (vivant ou virtuel) (Page sur Automates Intelligents)
Page sur l'utilisation des Réseaux neuronaux pour l'apprentissage d'animations.
15:30-16:00 Marie-Charlotte Lepelley, Université de Caen, Présentation du système de capture “zerowire” de l'activité EMG
Résumé de Jean-Julien Filatriau
Etat de l'art des recherches menées dans le domaine de la “bio-music”, consistant à utiliser la captation de signaux physiologiques (EEG, EMG, EKG, GSR etc…) pour la composition/performance musicale.
Résumé de Ludovic Denoyer
Dans cet exposé, nous présenterons les notions de base de l'apprentissage automatique à travers des cas concret d'utilisation. Nous présenterons ensuite des méthodes simples permettant d'utiliser l'apprentissage pour le traitement de signaux temporels type signaux bio-physiologiques.
Résumé de Michel Bret
Introduction aux méthodes connexionnistes dans la création artistique
Présentation de danseurs virtuels interactifs et autonomes:
Notions abordées:
Pédagogie:
Résumé de Marie-Charlotte Lepelley
Etude cinématique et électromyographique de la réalisation d'un geste graphique, le “jeté” chez les danseuses expertes. L'application de notre recherche académique sur la danse s'est concrétisée par la création d'une chorégraphie avec la compagnie Pedro Pauwels: “Sens 2 ou la mélodie musculaire du corps dansant”.
17:00-17:30 Jean-Marc Matos, Compagnie Kdanse présentera un texte de Philippe Baudelot, Digital Performances & Cultures. “EMOTIONS - THEATRE ET DANSE QUELLE APPROCHE?”
17:30-18:30 Discussion animée par Jean-Marc Matos et Bénédicte Adessi sur les enjeux artistiques des ateliers du Réseau Arts Numériques.
Signaux physiologique pour la synthèse sonore
Approche de sonification: présenter le son pour présenter des informations
Approche de composition: bio-musique
Bio-signaux: EEG, EMG, BVP, temp doigt, batts caridaque, respiration, conductivité de la peau
Intérêt: cooréler état émotionnel et processus musical - relation proche compositeur/musique
Musique contrôlée par les signaux du cerveau et musique EMG
1. musique et EEG
1964: Alvin Lucier: ondes alpha (une bande de fréquence des EEG liée à la relaxation) -> amplification des signaux et percussions
Andrew Brouse a refait une version de cette performance
Andrew Brouse: The InterHarmonium
Synthèse sonore basée sur la fondamentale absente
Brain Computer Interface - ondes mappées sur un moteur de composition algorithmique Eduardo Miranda (Université de Plymouth)
EEG -> signal analysis -> music composition -> piano
Listening to the mind (ICAD 2004)
Appel à sonification basé sur un dataset d'EEG d'une personne écoutant de la musique 10 sonifications retenues un site web
2. Musique et EMG
Belfast: BioTools plate-forme réutilisable et modulaire B. Knapp, MA Ortiz Perez
Basé sur biomuse (bandes + interfaces bluetooth + MaxMSP/Eyesweb) + algos plus complexes de traitement en cours de réalisation
Proposer un toolkit pour une prise en main rapide des capteurs
Atau Tanaka a composé pour Biomuse, utilisé comme contrôleur EMG
aime ces capteurs pour lui donner l'impression de sculpter le son
apprécie l'effet de fatigue qui en résulte
Diamair MA Ortiz Perez: composition pour choeur et chorale
Out of time MA Ortiz Perez Soundtrack basée sur les niveaux de stress
Biomusique a une certaine expansion: inclus dans les sujets de NIME 08 et ICMC 08
Challenges: hardware, algos de reconnaissance des gestes, utilisation des signaux
References bibliographiques
Apprentissage et signal
Problématiques générales de l'apprentissage et leur application au traitement du signal
Permettre à un ordinateur d'apprendre: applications et intérêts
Modification d'un système permettant de faire mieux la deuxième fois que la première
Apprentissage: organisation de l'expérience et travail sur les données
Apprentissage à partir d'exemples: travaille au niveau des modèles et non au niveau de la tâche, adaptatif, peu coûteux, modèles explicatifs
Applications de l'apprentissage sur l'image: reconnaissance d'image, reconnaissance de textes, reconnaissance de signaux EEG
Principes généraux de l'apprentissage:
Apprentissage supervisé, probablement le plus intéressant dans le cas des signaux
classification, segmentation, reconnaissance et prédiction
alignement de signaux corrélés
détection de motifs dans les signaux
Applications: reconnaissance de la parole, reconnaissance de l'écriture manuscrite
Apprentissage supervisé Signaux + espace de projection Déduire de ces signaux une frontière de déduction Travail de séparation de l'espace Un nouveau signal est projeté dans cet espace et sa catégorisation en est déduite en fonction de la séparation calculée sur les exemples d'apprentissage
Possibilité de segmentation de signaux via des modèles stochastiques (modèles génératifs): avec des états successifs. Un état mental -> un type de signal
Paramètres sur les changements d'état
modèles complexes assez lent
recon parole, de l'écrit, reconnaissance du geste
une erreur peut avoir des conséquences sur la suite temporelle
LIP6 développe un logiciel de traitement du signal qui sera compatible avec processing
Modèles d'apprentissage nécessitent un expert
Problématique du signal tel qu'on le perçoit dans le cerveau
Comment simuler des images mentales
Modèle artificiel
Perceptron multicouche sur une image sans apprentissage
Apprentissage par rétropropagation de l'erreur
puis animation à partir de ces couples images/postures sur des images ne faisant pas partie de l'ensemble d'apprentissage
Animation à partir d'exemples
Introduction du signal de la pulsation cardiaque sur le personnage autonome et animation correspondante de l'avatar
Animation du personnage par le son: avec apprentissage préalable
Logiciel personnel développé depuis les années 70
J'ai mis en ligne à la fin du fichier pointé par: http://www-inrev.univ-paris8.fr/extras/Michel-Bret/cours/bret/images/videos/reseau.htm deux vidéos expliquant l'utilisation possible des réseaux neuronaux (apprentissages supervisés et non supervisés) à partir du deuxième capteur du fichier continu_rigide_2.tab.
Utilisable par des artistes
Utilisé plutot par des spécialistes
Relation image/muscles: modèles physiques / connexion entre RN et modèle d'animation
Un modèle pour de nombreux types de signaux
Les modèles géométriques de corps peuvent être variés
Lois de l'univers virtuel: gravité
EMG: applications scientifiques et artistiques
Signal EMG: bouffées d'excitation associées à un geste
Exemple d'étude: étude de processus de coordination lors de la réalisation d'un mouvement complexe
Chorégraphie avec Pedro Pauwels où l'activité électromyographique est transformée en signal sonore
EMG sans fil ZeroWire
Transmission du signal par wifi (->10m)index.php.html
8h autonomie
16 bits
Choix des représentations par le sujet qui les condense pour en donner un nouveau sens
Le contenu manifeste n'est pas reconnaissable
Comment la représentation que l'on construit est investi de l'expression d'un désir latent du sujet
Toute forme émergente non contrôlable peut être la condition d'expression de désir
Trois instances pour la représentation:
Le sujet artistique réorganise l'ensemble des éléments pour créer des liens associatifs révélant sa condition de sujet (ex perspective avec la vue monoculaire)
Pour chaque peintre il y a une organisation symbolique
Le psychanaliste est un sujet désirant comme le sujet.
Qu'est-ce qu'un pattern récurrent? Quand on est sur un dispositif, on recherche des régularités. Lien intéressent entre scientifique et artiste: régularité et répétition.
Travailler sur l'acte manqué sur le plan artistique
Capation = radigraphie. Pouvoir attraper ces hasards an captation.
Comment s'approprie-t-on les capteurs? Tous ces choix sont déterminants dans les dispositifs créatifs.
La névrose produit du sens dans un travail de signification: lapsus, substitutions… Il y a des effets de sens par métaphore (associations par proximité) et métonymie (généralisation, spécification, similitude)
Processus: travail d'expression issu du rêve - images catalysant des figures - sens mis en oeuvre par des figures de rhétorique
Voir peut-être du côté du surréalisme (Breton)
Intérêt de l'expression psychosomatique: mesurer de l'impact du discours Fabienne a travaillé sur l'impact des événements sur notre psychisme Ces événements opère chimiquement sur la pensée sur la poésie
Jean-Baptise: réminiscence somatique, préparer des réactions aux événements existence de la représentation externe somatique
Tout capteur peut devenir zone érogène en fonction des traitements qu'on va en faire
Importance de l'écriture
La chute d'un personnage virtuel, les rumeurs du corps ne sont pas les mêmes représentation
L'organisation de l'espace scénique est importante
La scène est-elle réellement transformée? On voit beaucoup de juxtaposition Le public veut que l'on magnifie le présent Apport du dispositif? Doit-on le mettre en avant?
Perception de l'intensité de l'expérience des acteurs Si le dispositif offre des contraintes physique cela sera perçu par le spectateur
Simulation: quand on est sur scène on constuit avec des codes une émotion que l'on traduit par des codes Cette émotion forge une qualité de présence du perfomeur
Etre bardé de capteur peut être exploité pour produire une nouvelle réalité qui n'existe que là Elle n'est pas pour autant dévalorisée parce qu'elle ne ressemble pas à la peur ou à la joie du quotidien
Le dispositif est instrument qui donne à voir ce que l'on ne connaît
Il s'agit d'une prothèse qui permet de construire une partie de l'état - le spectateur construit le complément et en voit ce qu'il peut/veut voir
Joyce McDougall a étudié l'impossibilité de percevoir les émotions des autres et s'est intéressée au théâtre
Captation permettent de transmettre des informations qu'on ne peut transmettre par le langage
Comment toucher quelqu'un sans être présent - on pourrait recevoir les signaux électrique de l'EMG d'autres performeurs
Quelle actuation?
Prothétisation de l'être humain. Les êtres humains s'équipent de capteurs. Cyberpunks. Cybersexualité. Nouveauté: à grande échelle. Depuis un mois une société japonaise vend un dispositif pour définir les qualités de sourire.
Le logiciel facereader permet de reconnaître les émotions à partir du visage
Les capteurs réduisent l'information.
Thierry Giannarelli a des actuateurs qui recréent des sensations kinesthésiques
Les capteurs peuvent être un outil de conception - mais il n'est pas forcément nécessaire de garder le processus sur scène Qu'est-ce qui nous reste de l'expérience des capteurs?
Une danseuse de Jean-Marc s'est laissée emporter par son émotion au point de créer des failles dans son interprétation
Le spectacle vivant a pour raison d'être de permettre l'expression vivante à laquelle le spectateur s'identifie
La représentation scénique dit plus que l'expression
Transposition du réel - possibilité d'offrir un espace de tension
Actuateur: stimulation magnétique transcranienne