Table of Contents

CR Seminaire1 IRISA 20 06 2008 Compte rendu

Notes Seminaire du 20 juin 2008, IRISA
Simulation Technologique et Materialisation Artistique

Projet ST2I-SHS CNRS

Samuel Bianchini

(Re)matérialisation : resituer l'expérience esthétique? Quelques perspectives de recherche et de création

Matérialisation: mise en espace physique

Simulation: espace représenté (espace au-delà de l'écran)

Déplacement de soi vers l'image

Ce qui nous intéresse est en-deçà de l'écran: la situation dans laquelle on se trouve intègre des éléments de différentes natures pour une composition hybride

Situation localisée (située et mobile)

Situation distribuée (acteur multiple par le biais d'environnements partagés)

Avatar = incarnation de la projection

In Situ = environnement, installation (début 70s + vidéo début 80s), dispositif, ambiance (en France, Buren est représentatif de ce mouvement: une oeuvre trouve toute sa force dans le contexte dans lequel elle est située)

Installation → co-présence (références 55-75, art minimal, fluxus, installation…)

Abandon de la représentation au profit de la présence

Art minimal: cube 1.80m d'arête dans une architecture → objet ou architecture?

affirmer le hic et nunc au détriment de la représentation

Simulation: comment remettre l'oeuvre vers la corporalité et l'expérience

Ambiance

Dispositif: alliance de l'installation et de la technologie


Oeuvres: Anthony Mc Call cone

Fujiko Nakaya: brouillard

Jannsen: formes par projections

Eliasson: installation avec lumière, glace, brouillard

United Visual Artists: travail sur les diodes


Expérience esthétique: (re)matérialisation

convergence nouveaux médias et situation

comment revenir à une expérience sensorielle

hybridation environnement/présentation

représentation → environnement physique


Xavier Veilhan: sculpture qui joue sur les codes de représentation (maillages 3D)

Stéphane Sautour: image de synthèse sort dans l'environnement physique

Kolkhoz: remontés du jeu vidéo pour investir l'espace physique


Réalité augmentée: représentation réifiée, environnementée


SD: jeu vidéo: pervasive games/alternate reality games

Hyperg: projet européen qui a fait une étude sur les différents genres et sur les mixités, notions de colocalisation et de collaboration,

Equator : Blast Theory

→ toolbox pour créer des jeux de ce type


LN: réalité augmentée vs virtualité augmentée
Deux piles de transparents avec des définitions de RA (Réalité Augmentée) et VA (Virtualité Augmentée): http://iihm.imag.fr/nigay/RA-VA/


Logique informationnelle (connaissance) / logique informationnelle

environnement interface: sensibilité, réflexivité

hybridation/interaction


Cyrille Henry

Présentation de travaux utilisant la modélisation ou la simulation physique

http://drpichon.free.fr/ch/



Travaille essentiellement avec les modèles masse/ressort


Présentation de projets artistiques autour des modèles physiques


Présentation des modèles masses/ressorts


Implémentation:


Les modèles physiques créent des comportements naturels utilisés dans des environnements pouvant être décorrélés de ces modèles


Modèle de croissance floral en modèle physique pour créer des déplacements et des rotations sur les modèles virtuels

http://drpichon.free.fr/ch/article.php?id_article=94

Modélisation de fluides: peintures qui se mélangent

sans les équations de navier-stoke

champ de vitesse sur une texture en boucle → bruit de perlin (divergence nulle)

http://drpichon.free.fr/ch/article.php?id_article=95


Modèles physiques pour synthétiser des images

Vidéo comme champ de hauteur + composante inertielle de la membrane


perturbation d'une image par un champ de vitesse

(faux Navier-Stokes)


vagues de synthèse: membrane + courant et instabilités qui n'ont pas de réalité physique


Interaction gestuelle sur le déplacement d'un écran de laptop

http://drpichon.free.fr/ch/article.php?id_article=68

→ projet univ glasgow (sms sur tel)


Mylene Benoit Effet papillon

http://drpichon.free.fr/ch/article.php?id_article=56

Les modèles physiques servent de couche de mapping entre un acteur et une synthèse sonore ou visuelle

Alternative à la synthèse audio par modèles physiques

http://drpichon.free.fr/ch/article.php?id_article=56

Projet chdh:exprimer du mouvement à partir d'objets sonores et visuels simples

http://www.chdh.free.fr/net/article.php?id_article=2

Exemple d'une corde fermée avec des instabilités au milieu


http://www.chdh.free.fr/

Céline Coutrix

Modèle d'interaction mixte



IHM, vient de l'ingénierie logicielle


réexamen des notions de bases: utilisateurs et tâches à effectuer

ouverts à des collaborations plus larges pour l'exploration de nouvelles dimensions


interfaces mixtes combinant les mondes physiques et numériques



modèles d'interaction pour décrire les propriétés l'interaction dans les phases amont de la conception d'une interface


Modèles mixtes et problématiques interaction et simulation:


présentation du modèle

objet physique (+pptés physiques)

—> lien via les modalités d'interaction (dispositif [capture] / langage [reconnaissance de la parole])

objet numérique (+ pptés numériques)


Discussion sur les notions de dispositif et langage: ce sont des niveaux d'abstraction plus que des composants


illustration sur le projet Urp


Potential flag



modèle du tissu et du vent et couplage entre les deux

on peut les mettre dans les propriétés de l'objet

le rendu est dépendant du dispositif en sortie


fusion lexicale ou syntaxique selon les niveaux d'abstraction


nécessité de caractériser les objets mixtes et les modalités de liaison


Lien avec la simulation

envisager la simulation dans sa relation avec la matérialité

exploration de différentes possibilités


Simulation et interaction

contrôle de l'objet simulé (outil ou objet de la tâche)

action/réaction – tâches élémentaires/réponse + retour d'information

notion de modalité d'interaction


Objet mixte pour interagir sur outil mixte


Construire un outil logiciel pour prototyper l'interaction

Marcos Serrano

Plateforme OpenInterface pour la multimodalité



Outil de prototypage rapide d'interaction pour le développement d'interfaces multimodale

Avec spécification en langage naturel et composition des modalités pour réaliser une tâche

Outil ressemblant à Max/MSP dont les boites représentent des composants que l'on peut aisément connecter. Permet d'explorer des espaces de conception et d'interaction

Repose sur une plateforme logicielle à plusieurs composants

Navigation multimodale d'une carte

Intégration de la voix et d'un ballon pour le zoom



Exemples d'intégration de plusieurs interacteurs sur des dispositifs

→ peut servir à concevoir l'interaction pour prototyper la simulation à partir de plusieurs dispositifs (caméra, tracking IR, diamond touch, souris, space mouse, wiimote, interfaceZ, shake, Artoolkit)



Paramétrer la simulation pour modifier l'interaction

Dominique Cunin

3e cycle universitaire après école d'art



Représentation de l'espace et appréhension via image de synthèse

Espace physique et espace simulé cohérent



Transmission de la chute de l'objet physique à l'objet simulé

Chute de l'objet et interaction au sol avec une pile de cubes virtuels



Casse-briques mural sur lequel on jette un cube



Effet de miroir: cube contrôlé par la wiimote (manipulation d'un cube physique)



Possibilité de jouer avec une coïncidence pour créer un conflit sensoriel

Son qui brise une appréhension de l'espace et permet de se projeter dans l'espace simulé



Il faudra définir la notion de simulation

Bertrand Planes

Bump It!



Techniques de mapping sur des surfaces physiques

Programmation: but contourner les contraintes de la machine

Univers virtuels deviennent autonomes

Objet standardisé (différencié par des stickers)

Évolution dynamique des tags

Analyse du crénelage des pixels

Mode de coloration manuel ou à partir de photos

Il est difficile de faire croire à l'oeil qu'un relief est présent

Nathalie Delprat

Quelques idées sur la problématique du tourbillon coléreux

Physicienne (acoustique musicale et mécanique des fluides)

A travaillé en thèse sur analyse et synthèse des sons instrumentaux

S'est formée sur les modèles de synthèse

Relation simulation/matérialité

Qu'est-ce que la simulation ?

Couple modèle/simulation

Écart du monde des phénomènes: une solution qui pouvait décrire ce phénomène

Phénomène→modèle→simulation→solution & signal→matérialisation

Évaluation via la théorie ou via le réel

Simulation=traduction numérique d'un modèle

On peut aussi utiliser le résultat d'une simulation pour construire du réel: on est reparti de la modélisation pour fabriquer le réel

Analyse par synthèse développée dans les années 60 pour les sons de parole

Modélisation de l'effet: on va modéliser le signal et le simuler. On va faire rentrer la perception en partant d'un modèle assez simple. Par étape on cherche à converger vers l'effet attendu. On se rapproche de la réalité par la synthèse.

Intérêt: simplicité

Modèles facilement paramétrables.

Lien entre la physique et ce que l'on perçoit

Faire ce même type d'approche sur des signaux physiques

Écoulement au-dessus d'une cavité

Rupture causale: aller du signal à la physique

Interaction avec des expérimentateurs et numériciens

Être dans la matière via la réalité virtuelle

Lien avec les imaginaires matériels de G.Bachelard

→ le tourbillon coléreux et créateur

→ en science quel est l'apport de l'expérience artistique

→ où est l'imaginaire ?


Stéphane Donikian

Écriture du temps et de l'espace dans les oeuvres numériques interactives



Bunraku: marionnettes anthropomorphes (art théâtral japonais)

Uncanny valley: personnages humains anthropomorphes, l'augmentation du réalisme entraîne la perte de crédibilité

http://www.irisa.fr/bunraku/home_html-en



Open Mask: simulation distribuée de plusieurs personnes à distance

s'interface avec de nombreuses applications

http://www.irisa.fr/bunraku/OpenMASK/



Modèle : simplification, sert un but visé, n'est ni absolu ni unique.

Simulation : confrontation au réel



Fusionner interactivité et interaction

Outil d'aide auteur: édition de scénarios avec des personnages via des hyperliens
Relations causales, relations dramatiques… utilisées par l'équipe qui développe Non linéarité à partir d'une histoire

Esthétique de la réalité virtuelle: coencadrement avec un enseignant d'esthétique de Rennes2. Musée de la photographie: point de vue de la femme et de l'enfant dans la photographie contemporaine.

Collaboration avec Apparesse (collectif 1.0.3) sur du pseudo haptique via une vitesse de déplacement du curseur

Chorégraphie interactive avec Nicolas et Norbert Corsino

WFS pour le son et restitution graphique d'un monde 3D composé à partir de capture de mouvement

Spectateur capturé par laser et filtrage d'une zone d'interaction

Maillon faible: manque un langage commun de + haut niveau

OSC n'est pas assez sophistiqué

ConceptMove : réaliser un langage de plus haut niveau avec la représentation du temps et de l'interaction

Cf projet du CITU In/Out d'interopérabilité

Proposer des outils d'aide à l'écriture

Travail sur un lieu à Rennes de convergence arts/technologie de formation, monstration, résidence

Plateaux techniques: salle de campus pour faire des installations


Erwan Guillou

Capture de mouvement temps réel sans marqueurs



Simulation sur le médical

Acquisition de mouvement sans marqueur et simple à mettre en oeuvre

Reconstruction 3D à partir de capture multicaméra

2 webcams/1PC à 30 FPS



A été montré à la fête des lumières. Travail artistique de Martine Rondet-Mignotte.



La capture se faisait en live sans éclairement (habillée d'une couleur différente du fond de capture). Récupère l'enveloppe 3D du modèle et une sorte de squelette.

Calibrage de la position des caméras.

Christian Jacquemin

Deux questions sur le temps, l'espace et la matière

Slides de la présentation qui n'a pas pu être faite par manque de temps