Notes Seminaire du 20 juin 2008, IRISA
Simulation Technologique et Materialisation Artistique
Projet ST2I-SHS CNRS

(Re)matérialisation : resituer l'expérience esthétique? Quelques perspectives de recherche et de création

Matérialisation: mise en espace physique

Simulation: espace représenté (espace au-delà de l'écran)

Déplacement de soi vers l'image

Ce qui nous intéresse est en-deçà de l'écran: la situation dans laquelle on se trouve intègre des éléments de différentes natures pour une composition hybride

Situation localisée (située et mobile)

Situation distribuée (acteur multiple par le biais d'environnements partagés)

Avatar = incarnation de la projection

In Situ = environnement, installation (début 70s + vidéo début 80s), dispositif, ambiance (en France, Buren est représentatif de ce mouvement: une oeuvre trouve toute sa force dans le contexte dans lequel elle est située)

Installation → co-présence (références 55-75, art minimal, fluxus, installation…)

Abandon de la représentation au profit de la présence

Art minimal: cube 1.80m d'arête dans une architecture → objet ou architecture?

affirmer le hic et nunc au détriment de la représentation

Simulation: comment remettre l'oeuvre vers la corporalité et l'expérience

Ambiance

Dispositif: alliance de l'installation et de la technologie

Oeuvres: Anthony Mc Call cone

Fujiko Nakaya: brouillard

Jannsen: formes par projections

Eliasson: installation avec lumière, glace, brouillard

United Visual Artists: travail sur les diodes

Expérience esthétique: (re)matérialisation

convergence nouveaux médias et situation

comment revenir à une expérience sensorielle

hybridation environnement/présentation

représentation → environnement physique

Xavier Veilhan: sculpture qui joue sur les codes de représentation (maillages 3D)

Stéphane Sautour: image de synthèse sort dans l'environnement physique

Kolkhoz: remontés du jeu vidéo pour investir l'espace physique

Réalité augmentée: représentation réifiée, environnementée

SD: jeu vidéo: pervasive games/alternate reality games

Hyperg: projet européen qui a fait une étude sur les différents genres et sur les mixités, notions de colocalisation et de collaboration,

Equator : Blast Theory

→ toolbox pour créer des jeux de ce type

LN: réalité augmentée vs virtualité augmentée
Deux piles de transparents avec des définitions de RA (Réalité Augmentée) et VA (Virtualité Augmentée): http://iihm.imag.fr/nigay/RA-VA/

Logique informationnelle (connaissance) / logique informationnelle

environnement interface: sensibilité, réflexivité

hybridation/interaction

• projet golf
• potential flag

Présentation de travaux utilisant la modélisation ou la simulation physique

http://drpichon.free.fr/ch/

Travaille essentiellement avec les modèles masse/ressort

Présentation de projets artistiques autour des modèles physiques

• potential flag: animé par le vent
• accroché sur un mât
• simulation ⇒ souhait de photoréalisme

Présentation des modèles masses/ressorts

• paramétrages des rigidités et viscosités pour parcourir une grande palette de comportements
• grande variété de qualités gestuelles

Implémentation:

• pure data + bibliothèque de comportements de modèles physiques
• surface aquatique (ondes, vagues…)

Les modèles physiques créent des comportements naturels utilisés dans des environnements pouvant être décorrélés de ces modèles

• jonglage + comportements
• synchronisation dynamique du jongleur

Modèle de croissance floral en modèle physique pour créer des déplacements et des rotations sur les modèles virtuels

http://drpichon.free.fr/ch/article.php?id_article=94

Modélisation de fluides: peintures qui se mélangent

sans les équations de navier-stoke

champ de vitesse sur une texture en boucle → bruit de perlin (divergence nulle)

http://drpichon.free.fr/ch/article.php?id_article=95

Modèles physiques pour synthétiser des images

Vidéo comme champ de hauteur + composante inertielle de la membrane

perturbation d'une image par un champ de vitesse

(faux Navier-Stokes)

vagues de synthèse: membrane + courant et instabilités qui n'ont pas de réalité physique

Interaction gestuelle sur le déplacement d'un écran de laptop

http://drpichon.free.fr/ch/article.php?id_article=68

→ projet univ glasgow (sms sur tel)

Mylene Benoit Effet papillon

http://drpichon.free.fr/ch/article.php?id_article=56

Les modèles physiques servent de couche de mapping entre un acteur et une synthèse sonore ou visuelle

Alternative à la synthèse audio par modèles physiques

http://drpichon.free.fr/ch/article.php?id_article=56

Projet chdh:exprimer du mouvement à partir d'objets sonores et visuels simples

http://www.chdh.free.fr/net/article.php?id_article=2

Exemple d'une corde fermée avec des instabilités au milieu

http://www.chdh.free.fr/

Modèle d'interaction mixte

IHM, vient de l'ingénierie logicielle

réexamen des notions de bases: utilisateurs et tâches à effectuer

ouverts à des collaborations plus larges pour l'exploration de nouvelles dimensions

interfaces mixtes combinant les mondes physiques et numériques

• sandscape medialab
• URP urban planning (pour les architectes) – simulent l'ombre projetée sur le sol et la réflexion ainsi que la circulation d'air

modèles d'interaction pour décrire les propriétés l'interaction dans les phases amont de la conception d'une interface

Modèles mixtes et problématiques interaction et simulation:

• articuler simulation et matérialisation

présentation du modèle

objet physique (+pptés physiques)

—> lien via les modalités d'interaction (dispositif [capture] / langage [reconnaissance de la parole])

objet numérique (+ pptés numériques)

Discussion sur les notions de dispositif et langage: ce sont des niveaux d'abstraction plus que des composants

illustration sur le projet Urp

• caméra/vision en entrée ET rendu/projecteur

Potential flag

• capteur vent/transformation ET rendu/écran

modèle du tissu et du vent et couplage entre les deux

on peut les mettre dans les propriétés de l'objet

le rendu est dépendant du dispositif en sortie

fusion lexicale ou syntaxique selon les niveaux d'abstraction

nécessité de caractériser les objets mixtes et les modalités de liaison

• propriétés captées ou générées
• caractérisation des liaison en sortie (dynamique, linguistique, analogique, partiel, précis, déformé [anamorphose])
• composition: temporelle ou spatiale ex. ombre et forme coïncidentes pour sandscape
  la composition peut être étudiée en entrée ou en sortie

Lien avec la simulation

envisager la simulation dans sa relation avec la matérialité

exploration de différentes possibilités

Simulation et interaction

contrôle de l'objet simulé (outil ou objet de la tâche)

action/réaction – tâches élémentaires/réponse + retour d'information

notion de modalité d'interaction

Objet mixte pour interagir sur outil mixte

Construire un outil logiciel pour prototyper l'interaction

Plateforme OpenInterface pour la multimodalité

Outil de prototypage rapide d'interaction pour le développement d'interfaces multimodale

Avec spécification en langage naturel et composition des modalités pour réaliser une tâche

Outil ressemblant à Max/MSP dont les boites représentent des composants que l'on peut aisément connecter. Permet d'explorer des espaces de conception et d'interaction

Repose sur une plateforme logicielle à plusieurs composants

Navigation multimodale d'une carte

Intégration de la voix et d'un ballon pour le zoom

Exemples d'intégration de plusieurs interacteurs sur des dispositifs

→ peut servir à concevoir l'interaction pour prototyper la simulation à partir de plusieurs dispositifs (caméra, tracking IR, diamond touch, souris, space mouse, wiimote, interfaceZ, shake, Artoolkit)

Paramétrer la simulation pour modifier l'interaction

3e cycle universitaire après école d'art

Représentation de l'espace et appréhension via image de synthèse

Espace physique et espace simulé cohérent

Transmission de la chute de l'objet physique à l'objet simulé

Chute de l'objet et interaction au sol avec une pile de cubes virtuels

Casse-briques mural sur lequel on jette un cube

Effet de miroir: cube contrôlé par la wiimote (manipulation d'un cube physique)

Possibilité de jouer avec une coïncidence pour créer un conflit sensoriel

Son qui brise une appréhension de l'espace et permet de se projeter dans l'espace simulé

Il faudra définir la notion de simulation

Bump It!

Techniques de mapping sur des surfaces physiques

Programmation: but contourner les contraintes de la machine

Univers virtuels deviennent autonomes

Objet standardisé (différencié par des stickers)

Évolution dynamique des tags

Analyse du crénelage des pixels

Mode de coloration manuel ou à partir de photos

Il est difficile de faire croire à l'oeil qu'un relief est présent

Quelques idées sur la problématique du tourbillon coléreux

Physicienne (acoustique musicale et mécanique des fluides)

A travaillé en thèse sur analyse et synthèse des sons instrumentaux

S'est formée sur les modèles de synthèse

Relation simulation/matérialité

Qu'est-ce que la simulation ?

Couple modèle/simulation

Écart du monde des phénomènes: une solution qui pouvait décrire ce phénomène

Phénomène→modèle→simulation→solution & signal→matérialisation

Évaluation via la théorie ou via le réel

Simulation=traduction numérique d'un modèle

On peut aussi utiliser le résultat d'une simulation pour construire du réel: on est reparti de la modélisation pour fabriquer le réel

Analyse par synthèse développée dans les années 60 pour les sons de parole

Modélisation de l'effet: on va modéliser le signal et le simuler. On va faire rentrer la perception en partant d'un modèle assez simple. Par étape on cherche à converger vers l'effet attendu. On se rapproche de la réalité par la synthèse.

Intérêt: simplicité

Modèles facilement paramétrables.

Lien entre la physique et ce que l'on perçoit

Faire ce même type d'approche sur des signaux physiques

Écoulement au-dessus d'une cavité

Rupture causale: aller du signal à la physique

Interaction avec des expérimentateurs et numériciens

Être dans la matière via la réalité virtuelle

Lien avec les imaginaires matériels de G.Bachelard

→ le tourbillon coléreux et créateur

→ en science quel est l'apport de l'expérience artistique

→ où est l'imaginaire ?

Écriture du temps et de l'espace dans les oeuvres numériques interactives

Bunraku: marionnettes anthropomorphes (art théâtral japonais)

Uncanny valley: personnages humains anthropomorphes, l'augmentation du réalisme entraîne la perte de crédibilité

• Interaction multimodale
• Personnages autonomes
• Interactions avec les modèles, langages de scénarisation

http://www.irisa.fr/bunraku/home_html-en

Open Mask: simulation distribuée de plusieurs personnes à distance

s'interface avec de nombreuses applications

http://www.irisa.fr/bunraku/OpenMASK/

Modèle : simplification, sert un but visé, n'est ni absolu ni unique.

Simulation : confrontation au réel

Fusionner interactivité et interaction

• fiction interactive → interaction avec ce qu'a prévu l'auteur

Outil d'aide auteur: édition de scénarios avec des personnages via des hyperliens
Relations causales, relations dramatiques… utilisées par l'équipe qui développe Non linéarité à partir d'une histoire

Esthétique de la réalité virtuelle: coencadrement avec un enseignant d'esthétique de Rennes2. Musée de la photographie: point de vue de la femme et de l'enfant dans la photographie contemporaine.

Collaboration avec Apparesse (collectif 1.0.3) sur du pseudo haptique via une vitesse de déplacement du curseur

Chorégraphie interactive avec Nicolas et Norbert Corsino

WFS pour le son et restitution graphique d'un monde 3D composé à partir de capture de mouvement

Spectateur capturé par laser et filtrage d'une zone d'interaction

Maillon faible: manque un langage commun de + haut niveau

OSC n'est pas assez sophistiqué

ConceptMove : réaliser un langage de plus haut niveau avec la représentation du temps et de l'interaction

Cf projet du CITU In/Out d'interopérabilité

Proposer des outils d'aide à l'écriture

Travail sur un lieu à Rennes de convergence arts/technologie de formation, monstration, résidence

Plateaux techniques: salle de campus pour faire des installations

Capture de mouvement temps réel sans marqueurs

Simulation sur le médical

Acquisition de mouvement sans marqueur et simple à mettre en oeuvre

Reconstruction 3D à partir de capture multicaméra

2 webcams/1PC à 30 FPS

A été montré à la fête des lumières. Travail artistique de Martine Rondet-Mignotte.

La capture se faisait en live sans éclairement (habillée d'une couleur différente du fond de capture). Récupère l'enveloppe 3D du modèle et une sorte de squelette.

Calibrage de la position des caméras.

Deux questions sur le temps, l'espace et la matière

• contrôle et modèle hybride autonome/asservi,
• médium sonore et graphique continu pour l'espace et le temps

Slides de la présentation qui n'a pas pu être faite par manque de temps