Notes Seminaire du 20 juin 2008, IRISA
Simulation Technologique et Materialisation Artistique
Projet ST2I-SHS CNRS
(Re)matérialisation : resituer l'expérience esthétique? Quelques perspectives de recherche et de création
Matérialisation: mise en espace physique
Simulation: espace représenté (espace au-delà de l'écran)
Déplacement de soi vers l'image
Ce qui nous intéresse est en-deçà de l'écran: la situation dans laquelle on se trouve intègre des éléments de différentes natures pour une composition hybride
Situation localisée (située et mobile)
Situation distribuée (acteur multiple par le biais d'environnements partagés)
Avatar = incarnation de la projection
In Situ = environnement, installation (début 70s + vidéo début 80s), dispositif, ambiance (en France, Buren est représentatif de ce mouvement: une oeuvre trouve toute sa force dans le contexte dans lequel elle est située)
Installation → co-présence (références 55-75, art minimal, fluxus, installation…)
Abandon de la représentation au profit de la présence
Art minimal: cube 1.80m d'arête dans une architecture → objet ou architecture?
affirmer le hic et nunc au détriment de la représentation
Simulation: comment remettre l'oeuvre vers la corporalité et l'expérience
Ambiance
Dispositif: alliance de l'installation et de la technologie
Oeuvres: Anthony Mc Call cone
Fujiko Nakaya: brouillard
Jannsen: formes par projections
Eliasson: installation avec lumière, glace, brouillard
United Visual Artists: travail sur les diodes
Expérience esthétique: (re)matérialisation
convergence nouveaux médias et situation
comment revenir à une expérience sensorielle
hybridation environnement/présentation
représentation → environnement physique
Xavier Veilhan: sculpture qui joue sur les codes de représentation (maillages 3D)
Stéphane Sautour: image de synthèse sort dans l'environnement physique
Kolkhoz: remontés du jeu vidéo pour investir l'espace physique
Réalité augmentée: représentation réifiée, environnementée
SD: jeu vidéo: pervasive games/alternate reality games
Hyperg: projet européen qui a fait une étude sur les différents genres et sur les mixités, notions de colocalisation et de collaboration,
Equator : Blast Theory
→ toolbox pour créer des jeux de ce type
LN: réalité augmentée vs virtualité augmentée
Deux piles de transparents avec des définitions de RA (Réalité Augmentée) et VA (Virtualité Augmentée): http://iihm.imag.fr/nigay/RA-VA/
Logique informationnelle (connaissance) / logique informationnelle
environnement interface: sensibilité, réflexivité
hybridation/interaction
Présentation de travaux utilisant la modélisation ou la simulation physique
Travaille essentiellement avec les modèles masse/ressort
Présentation de projets artistiques autour des modèles physiques
Présentation des modèles masses/ressorts
Implémentation:
Les modèles physiques créent des comportements naturels utilisés dans des environnements pouvant être décorrélés de ces modèles
Modèle de croissance floral en modèle physique pour créer des déplacements et des rotations sur les modèles virtuels
http://drpichon.free.fr/ch/article.php?id_article=94
Modélisation de fluides: peintures qui se mélangent
sans les équations de navier-stoke
champ de vitesse sur une texture en boucle → bruit de perlin (divergence nulle)
http://drpichon.free.fr/ch/article.php?id_article=95
Modèles physiques pour synthétiser des images
Vidéo comme champ de hauteur + composante inertielle de la membrane
perturbation d'une image par un champ de vitesse
(faux Navier-Stokes)
vagues de synthèse: membrane + courant et instabilités qui n'ont pas de réalité physique
Interaction gestuelle sur le déplacement d'un écran de laptop
http://drpichon.free.fr/ch/article.php?id_article=68
→ projet univ glasgow (sms sur tel)
Mylene Benoit Effet papillon
http://drpichon.free.fr/ch/article.php?id_article=56
Les modèles physiques servent de couche de mapping entre un acteur et une synthèse sonore ou visuelle
Alternative à la synthèse audio par modèles physiques
http://drpichon.free.fr/ch/article.php?id_article=56
Projet chdh:exprimer du mouvement à partir d'objets sonores et visuels simples
http://www.chdh.free.fr/net/article.php?id_article=2
Exemple d'une corde fermée avec des instabilités au milieu
Modèle d'interaction mixte
IHM, vient de l'ingénierie logicielle
réexamen des notions de bases: utilisateurs et tâches à effectuer
ouverts à des collaborations plus larges pour l'exploration de nouvelles dimensions
interfaces mixtes combinant les mondes physiques et numériques
modèles d'interaction pour décrire les propriétés l'interaction dans les phases amont de la conception d'une interface
Modèles mixtes et problématiques interaction et simulation:
présentation du modèle
objet physique (+pptés physiques)
—> lien via les modalités d'interaction (dispositif [capture] / langage [reconnaissance de la parole])
objet numérique (+ pptés numériques)
Discussion sur les notions de dispositif et langage: ce sont des niveaux d'abstraction plus que des composants
illustration sur le projet Urp
Potential flag
modèle du tissu et du vent et couplage entre les deux
on peut les mettre dans les propriétés de l'objet
le rendu est dépendant du dispositif en sortie
fusion lexicale ou syntaxique selon les niveaux d'abstraction
nécessité de caractériser les objets mixtes et les modalités de liaison
Lien avec la simulation
envisager la simulation dans sa relation avec la matérialité
exploration de différentes possibilités
Simulation et interaction
contrôle de l'objet simulé (outil ou objet de la tâche)
action/réaction – tâches élémentaires/réponse + retour d'information
notion de modalité d'interaction
Objet mixte pour interagir sur outil mixte
Construire un outil logiciel pour prototyper l'interaction
Plateforme OpenInterface pour la multimodalité
Outil de prototypage rapide d'interaction pour le développement d'interfaces multimodale
Avec spécification en langage naturel et composition des modalités pour réaliser une tâche
Outil ressemblant à Max/MSP dont les boites représentent des composants que l'on peut aisément connecter. Permet d'explorer des espaces de conception et d'interaction
Repose sur une plateforme logicielle à plusieurs composants
Navigation multimodale d'une carte
Intégration de la voix et d'un ballon pour le zoom
Exemples d'intégration de plusieurs interacteurs sur des dispositifs
→ peut servir à concevoir l'interaction pour prototyper la simulation à partir de plusieurs dispositifs (caméra, tracking IR, diamond touch, souris, space mouse, wiimote, interfaceZ, shake, Artoolkit)
Paramétrer la simulation pour modifier l'interaction
3e cycle universitaire après école d'art
Représentation de l'espace et appréhension via image de synthèse
Espace physique et espace simulé cohérent
Transmission de la chute de l'objet physique à l'objet simulé
Chute de l'objet et interaction au sol avec une pile de cubes virtuels
Casse-briques mural sur lequel on jette un cube
Effet de miroir: cube contrôlé par la wiimote (manipulation d'un cube physique)
Possibilité de jouer avec une coïncidence pour créer un conflit sensoriel
Son qui brise une appréhension de l'espace et permet de se projeter dans l'espace simulé
Il faudra définir la notion de simulation
Bump It!
Techniques de mapping sur des surfaces physiques
Programmation: but contourner les contraintes de la machine
Univers virtuels deviennent autonomes
Objet standardisé (différencié par des stickers)
Évolution dynamique des tags
Analyse du crénelage des pixels
Mode de coloration manuel ou à partir de photos
Il est difficile de faire croire à l'oeil qu'un relief est présent
Quelques idées sur la problématique du tourbillon coléreux
Physicienne (acoustique musicale et mécanique des fluides)
A travaillé en thèse sur analyse et synthèse des sons instrumentaux
S'est formée sur les modèles de synthèse
Relation simulation/matérialité
Qu'est-ce que la simulation ?
Couple modèle/simulation
Écart du monde des phénomènes: une solution qui pouvait décrire ce phénomène
Phénomène→modèle→simulation→solution & signal→matérialisation
Évaluation via la théorie ou via le réel
Simulation=traduction numérique d'un modèle
On peut aussi utiliser le résultat d'une simulation pour construire du réel: on est reparti de la modélisation pour fabriquer le réel
Analyse par synthèse développée dans les années 60 pour les sons de parole
Modélisation de l'effet: on va modéliser le signal et le simuler. On va faire rentrer la perception en partant d'un modèle assez simple. Par étape on cherche à converger vers l'effet attendu. On se rapproche de la réalité par la synthèse.
Intérêt: simplicité
Modèles facilement paramétrables.
Lien entre la physique et ce que l'on perçoit
Faire ce même type d'approche sur des signaux physiques
Écoulement au-dessus d'une cavité
Rupture causale: aller du signal à la physique
Interaction avec des expérimentateurs et numériciens
Être dans la matière via la réalité virtuelle
Lien avec les imaginaires matériels de G.Bachelard
→ le tourbillon coléreux et créateur
→ en science quel est l'apport de l'expérience artistique
→ où est l'imaginaire ?
Écriture du temps et de l'espace dans les oeuvres numériques interactives
Bunraku: marionnettes anthropomorphes (art théâtral japonais)
Uncanny valley: personnages humains anthropomorphes, l'augmentation du réalisme entraîne la perte de crédibilité
http://www.irisa.fr/bunraku/home_html-en
Open Mask: simulation distribuée de plusieurs personnes à distance
s'interface avec de nombreuses applications
http://www.irisa.fr/bunraku/OpenMASK/
Modèle : simplification, sert un but visé, n'est ni absolu ni unique.
Simulation : confrontation au réel
Fusionner interactivité et interaction
Outil d'aide auteur: édition de scénarios avec des personnages via des hyperliens
Relations causales, relations dramatiques… utilisées par l'équipe qui développe Non linéarité à partir d'une histoire
Esthétique de la réalité virtuelle: coencadrement avec un enseignant d'esthétique de Rennes2. Musée de la photographie: point de vue de la femme et de l'enfant dans la photographie contemporaine.
Collaboration avec Apparesse (collectif 1.0.3) sur du pseudo haptique via une vitesse de déplacement du curseur
Chorégraphie interactive avec Nicolas et Norbert Corsino
WFS pour le son et restitution graphique d'un monde 3D composé à partir de capture de mouvement
Spectateur capturé par laser et filtrage d'une zone d'interaction
Maillon faible: manque un langage commun de + haut niveau
OSC n'est pas assez sophistiqué
ConceptMove : réaliser un langage de plus haut niveau avec la représentation du temps et de l'interaction
Cf projet du CITU In/Out d'interopérabilité
Proposer des outils d'aide à l'écriture
Travail sur un lieu à Rennes de convergence arts/technologie de formation, monstration, résidence
Plateaux techniques: salle de campus pour faire des installations
Capture de mouvement temps réel sans marqueurs
Simulation sur le médical
Acquisition de mouvement sans marqueur et simple à mettre en oeuvre
Reconstruction 3D à partir de capture multicaméra
2 webcams/1PC à 30 FPS
A été montré à la fête des lumières. Travail artistique de Martine Rondet-Mignotte.
La capture se faisait en live sans éclairement (habillée d'une couleur différente du fond de capture). Récupère l'enveloppe 3D du modèle et une sorte de squelette.
Calibrage de la position des caméras.
Deux questions sur le temps, l'espace et la matière
Slides de la présentation qui n'a pas pu être faite par manque de temps