virtualité, interaction, design, & art

>... Réflexions sur l'outillage pour les ateliers

>... Capture de signaux physiologiques

Ivan Chabanaud (Chabalab) et Julien Marro-dauzat (Biogene)

Nouvelles technologies d'interface, de capture posturologique et physiologique

Sujet: la societé BIOGENE est issue des recherches de julien Marro-Dauzat en partenariat avec le chabalab dans le cadre de développement d'interfaces pour danseurs et chanteurs. Ces interfaces inclues des capteurs posturologiques classiques (accélerometre/flexomètre) et des capteurs physiologiques (respiromètres , électromyographie). Depuis peu nous avons intégré la technologie Zigbee qui permet, grace a la miniaturisation des interfaces, la multiplication des capteurs (jusqu'à 80 avec un simple récepteur USB) et le développement de capteurs mbarqués dans des objets (ballon, baton…).

l'utilisation des capteurs bio-médicaux, issues notamment des techniques de recherches en sciences cognitives (potentiel évoqué…), permet aujourd'hui d'élargir les possibilités de l'interaction homme-machine. L'intégration des données physiologiques dans le cadre de la création artistique permet de soulever de nouvelles voies de recherches (définition electromyographique de l'avant geste, variation de la respiration au cours du chant, utilisation d'effecteurs physiologiques comme les illusions de mouvements utilisés dans le projet D.I.P). Nous proposons d'intervenir dans le cadre de la réunion prévue pour janvier 2008. Démonstration des capteurs, réflexions sur mes expériences de création, sur les possibilités futurs de l'expérimentation, et sur l'apport des données physiologique dans la compréhension de facultés cognitives humaine.

contact: biogene2006@yahoo.fr et skype: biogene.fr

Chabalab

A la suite des expériences que j'ai mené avec les chorégraphes, j'ai pu associer divers types de captations au processus scénique. Actuellement sur la réalisation d'un système non filaire type ZigBee. J'aimerais partager ces approches essentiellement développées avec PureData. Je suis aussi intéressé dans l'utilisation du laser via le DMX ainsi que les autres périphériques “lumiere”. Il manque à cette approche des outils d'analyse du signal une utilisation autre que linéaire. Pour les systèmes dynamiques plusieurs librairies sont disponible (Pmpd,Ode). Il serait aussi intéressant de décrire les systéme de visualisation (multis écrans). Les captations posturologiques montrant leur limites; il devient crucial de faire d'autre types d'acquisition pour obtenir des informations pertinentes autres (tonus musculaire, activité cérébrale, avant geste ….). Il serait bien que le contenu de cet atelier dépasse le stade de la sensibilisation pour passer au stade de l'expérimentation.


Nous sommes prêts à amener le Kroonde, et une nappe Flexo , acceleros, on/off,respiro Le ZigBee qui est opérationnel avec les capteurs que Julien développe. Le tout fonctionne sous Linux et Win via le port USB. (voir OSX a cette occasion?)

  • le respirométre nasal, ce respirométre fruit d'une longue recherche pour etre adapter a la pratique scénique (pas de réglage même si la température extérieure fluctue le signal reste centré , mais l'on a plus accés a une valeur absolue de captation ) , ce capteur se caractérise par une fort inertie, ce qui confere a son signal une certaine “douceur” ou plus mathématiquement une sinusoïde presque parfaite.
  • le respirometre abdominale: ce capteur et notamment ses déclinaisons sur le ventre et la gorge est particulièrement intéressant dans le traitement de la voix chanté (odologie).
  • le cardiofrequencemetre/ECG: ce capteur est plus orienter sur la fréquence du rythme cardiaque que sur la modulation interne du signal. ce choix est diriger par l'adaptation a la scène. le traitement du signal est donc important pour ce capteur.
  • l'electrooculogramme: le signal de ce capteur est fonction des mouvements de l'oeuil.
  • l'electromyogramme: a voir

ces capteurs sont disponible en 0-3 volts (pour zigbee) ou 0-5 volts (a voir) . nos capteur sont compatibles avec la plupart des cartes d'acquisition A/D. j'apprécie particulièrement le matériel de National Instrument. Mais le temps d'adaptation est quand meme difficile car la configuration est importante. Par contre nous pouvons venir avec des interfaces sans fil Zigbee. leurs faibles résolutions ( 10 bits a 1kHz max) étant “compensées” par leur prix et leurs volumes. ces interfaces sont compatibles Ubuntu , Windows, et Mac. Le driver etant optimisé pour Ubuntu bien sur.

Nous avons des patchs de filtrage sous PureData PD = “y'a pas mieux” Mais avant tout “comprendre” le signal , un outil (helas pas gratuit) = Labview (Linux Version?)


en général c'est depuis un machine Lin/PD que nous envoyons (OSC/UDP) sur le reseau privé via Switch 5 ports.

Pour cette occasion il faut avoir un Switch avec plus de ports (12-24) pour connecter d'autres machines. le mieux et d'avoir une machine spécifique (Lin) avec deux cartes réseaux pour router sur le Net quand il n'y a pas de flux et héberger le patch de réception des capteurs le reseau local est en 192.168.0.0 car le Kroonde est paramétré sur cette plage

Nous n'utilisons pas le multilicast sur cette machine, chaque flux envoyé pouvant être spécifique

Par contre le Kroonde envoi en multicast ce qui rend son flux de données accessible en dehors de cette machine, il émet en UDP pour plus de fluidité

Disponible également un DMX (usb Enttec_Pro) et un Laser pour évoquer la partie Lumière

Si vous avez des caméras (NTSC-PAL) analogiques (framerate> 30 img/S ou capteur CCD grosse résolution) se serait bien de pouvoir les connecter

Carte d'acquisition disponibles Pinacle (usb_linux) pal 720×576 30 img/s ADS (VideoXpress) (win_usb) 640×480 25 img/s Osprey 100 (pci) 640×480 25 img/s 3 entrées

Préparer Inscription selfworld

Il est bien qu'une machine centralise tous les flux de data et qu'il soit possible de les rediriger vers les applications que nous voulons utliser PureDa Virchor Fluxus Max/Msp .. de maniére a concentrer le traitement de signal sur un poste et le restant dans une utilisation “artistique” enrichisante pour l'ensemble

Le traitement de signal étant vraiment intéressant et rigoureux via LabView pour arriver à une certaine maîtrise il est possible d'en faire des applicatifs utlisables pour PD qui reste le seul routeur de Data trés souple

Ce serait dommage de passer cette session à rechercher les compatibilités entre OS ce qui n'est vraiment pas l'objet d'une recherche chacun connaissant les possibilités de son système

Il faut penser aussi a avoir un candide qui va alimenter les capteurs pour éviter d'avoir à faire trouver un cobaye parmis nous (ex danseur , chanteur, performer) il est encore temps d'en solliciter un. Avez vous des amis dans ces champs


Jean-Julien Filatriau, Andrew Brouse (Université Catholique de Louvain, Belgique)

Nous, a l'UCL, comptons y participer et d'amener les capteur suivants:

  1. Un systeme Flexcomp Infiniti de Thought Technology: http://www.thoughttechnology.com/french/hardware.htm avec une gamme de sensors:
    http://www.thoughttechnology.com/french/sensors.htm
  2. Un systeme microDig de Infusion Systems: http://infusionsystems.com/catalog/product_info.php/products_id/91 mais avec tres peu de capteurs (qui coutent assez cher):
    http://infusionsystems.com/catalog/index.php/cPath/24
  3. Un Arduino USB
  4. Un DAQ, 'USB-DUX': http://www.linux-usb-daq.co.uk/ avec amplificateur de biosignaux (EMG-EEG):
    http://www.linux-usb-daq.co.uk/howto2/eeg/
  5. Peut-etre d'autres trucs utiles…

>... Capteurs posturaux

Jean-Noel Montagné (CRAS)

2 acceleromètres-inclinomètres 2D et 5/6 capteurs de pression et flexion qui peuvent convenir pour de la captation de mouvements.

6 ou 7 arduinos USB ( 6 entrées ana 10 bits) et quelques CUI ( 13 ana 10 bits ) dont une bluetooth ( sans fil) et une 8 ana 10 bits sans fil qui envoie du midi.

Pour les compatibilités avec vos logiciels, vos OS et vos matériels, consulter le web.


>... Interfaces electrotextiles

Jean-Baptiste LABRUNE (Bioject - http://insitu.lri.fr/~labrune/blog/)

Utilisation d'interfaces electrotextiles pour la captation de signaux corporels (conductance, activité électrique). J'amenerai une arduino textile que nous utilisons pour faire des wearables (voir ici par ex http://www.mediamatic.net/artefact-26947-en.html )

http://www.flickr.com/photos/jeanbaptisteparis/2163676671/in/set-72157603627232007/

PROJET:: Réalisation d'un dispositif de capture de mouvement/intention et de communication somatiques non-invasifs (extension des recherches de K.Warwick http://www.kevinwarwick.com/ ). L'idée est de faire de la 1bit communication directement entre deux corps pour que des danseurs, performers puissent communiquer de manière purement somatique (entre la télépathie et la télékinésie). Passer de l'interaction à l'interperception (http://insitu.lri.fr/~labrune/web.jb.wiki/doku.php?id=telebeads && http://70.47.56.231/blog/?p=113 && http://www-ihm.lri.fr/%7Elabrune/web.jb/Telebeads.pdf)

L'idée est d'utiliser la lilypad directement comme un capteur physiologique ainsi que de réfléchir sur la fabrication de polymères électroconductifs dans le genre de http://www.jneuroengrehab.com/content/pdf/1743-0003-2-8.pdf

>... Tracking

Markus Noisternig (LIMSI)

nous avons un capteur “headtracker” à LIMSI. La xsense est à la fois une centrale d'attitude miniature et un compas de précision comprenant des capteurs inertiels (3 axes l'orientation, ainsi que l'acceleration et le champ magnétique terrestre).

xsens


>... Régie numérique en réseau

Le LIMSI fournira un switch 8 ports, 3-4 PC + 1 portable, 2VP, 2HP.

  • jeu: Bénédicte, Fabienne
  • captation: Ivan, Jean-Noël, Julien, Jean-Julien, Andrew
  • son: Markus, Sylvain
  • analyse: Ludovic, Thierry, Charles
  • image: Rami, Christian
  • régie: Frédérique

Les séances de travail se dérouleront principalement dans la salle de conférence, une salle plane sans équipement fixe au sol et pouvant être obscurcie. Elle sera assez spacieuse qui pourra nous contenir tous (le nb de participants est limité à 30). On aura aussi accès à la salle 017 avec rendu graphique stéréo et rendu audio spatialisé, mais elle peut contenir 5-6 personnes max.


>... Grille d'analyse

Philippe Baudelot

Je me suis posé quelques questions à la suite du dernier laboratoire:

1 – Il nous faudrait réfléchir à la relation entre l’émotion représentée (qui me semble d’abord de l’ordre du signe et du code du spectacle et va vers le physiologique) et l’émotion vécue (qui me semble d’abord de l’ordre psycho/physiologique et va ensuite vers le code). Dans le domaine du spectacle vivant et dans celui de notre recherche, ce me semble être une question à se poser.

2 – Doit-on passer par le code de la représentation (et quel code) ou par l’expression l’émotion réelle (et est-ce possible dans notre situation de travail), ou doit associer ces deux modes de l’émotion (mais comment mesurer un code qui n’est qu’une convention ou comment codifier le réel qui n’est pas une convention si on ne le représente pas le représente) pour avancer dans une recherche qui associe objectifs artistiques et objectifs scientifiques.

3 – Ne pourrait-on pas tenter de mettre en place une triple grille d’analyse sémiologique des émotions vécues, de celles, représentées que nous mesurons et des mesures graphiques que nous obtenons (qui sont aussi des représentions.

Je vous propose d’y réfléchir si cela ma question vous semble pertinente. Elle est vaste. Il ne s’agit pas d’y répondre de façon scientifique. Mais mettre en place une méthode et une grille d’analyse empirique et/ou artistique pourrait être précieux.