virtualité, interaction, design, & art

> Métamorphy

Projet en collaboration entre Scénocosme et Panagiotis-Alexandros Bokaris proposé pour le Festival CURIOSITas Paris-Saclay 2014


Description du projet

metamorphy.jpg

English version

For the festival CURIOSITas Paris-Saclay 2014, the artists Scenocosme collaborated with Panagiotis-Alexandros Bokaris, PHD student at LIMSI in augmented reality and computer vision.

The creation

Métamorphy is an audio visual art installation initiated by the artists Scenocosme. This installation offers possible immersions and body projections combining real and imaginary reflects. Métamorphy refers to the concept of metamorphosis where the prefix «meta» means change, succession, to go beyond.

The installation consists of a semi-transparent elastic veil. Once the hand pushes the fabric, various different layers of depth are revealed. The veil is the sensitive surface of the artwork. It is similar to skin, a frontier which is deformed once the spectator touches it. Then, it becomes rigid again as soon as the spectator stops pushing it.

The gestures of spectators on the veil modify the transformation of the image; three-dimensional deformations generate an audio visual response which is modified in real time according to the interaction between the spectators and the veil. Similar to a partition process, each interaction zone on the fabric produces a different sound, once triggered by the spectator.

The research work

Panagiotis-Alexandros Bokaris redesigned the implementation for this project and produced a new software that is able to blend the video projections in real time. For this purpose, the depth image of the camera is segmented in five different zones and a different video layer is assigned to each zone. The video layers are blended at the borders of each zone. The video resolution and overall performance were increased in order to enhance the visual experience. Finally, the data of each video layer are used in order to modulate the sound generation.

French version

Dans le cadre de l'appel à projet Curiositas les artistes Scenocosme ont collaboré avec Panagiotis-Alexandros Bokaris, étudiant doctorant en réalité augmentée et vision par ordinateur au LIMSI.

La création

Métamorphy est une oeuvre interactive visuelle et sonore initiée par les artistes Scenocosme. Cette installation propose des formes d’immersions et de projections possibles du corps où se mêlent reflets réels et imaginaires. Métamorphy renvoie à la notion de métamorphose et le préfixe « méta » signifie le changement, la succession, le fait d’aller au-delà.

L'installation présente un voile semi-transparent possèdant une élasticité. Chaque appui de la main en révèle des profondeurs différentes. Ce voile est la surface sensitive de l’oeuvre. Il est une forme de peau, une frontière qui se déforme lorsque le spectateur le touche, et reprend sa rigidité lorsqu’il le relâche

Les gestes des spectateurs sur le tissu permettent de modifier les scénarios de transformations de l’image : les déformations tridimensionnelles activent l’apparition d’une matière vidéo et sonore modifiée en temps réel par leurs actions. A l’image d’une partition, les zones d’interaction dévoilent des matières sonores en sommeil sur les différentes zones du tissu.

Le travail de recherche

Panagiotis-Alexandros Bokaris a développé pour ce projet une nouvelle application de traitement de l'image temps réel. Celle ci analyse l'image de profondeur de la caméra, génère les 5 couches d'images vidéos, gère les transitions entre ces couches. La résolution et la vitesse de traitement de l'image ont été augmentées. Les données des images sont utilisés comme élément de modulation et traitement des sons.

Liens

Festival CURIOSITas Paris-Saclay 2014

Panagiotis-Alexandros Bokaris

Scenocosme : Grégory Lasserre & Anaïs met den Ancxt

LIMSI_CNRS