virtualité, interaction, design, & art

>... TLLSLO: Références scientifiques et études de l'histoire de l'art

Bimber, O., Emmerling, A., Jkennerm T. (2005) “Embedded Entertainment with Smart Projectors”, IEEE Computer, vol 38(1), pp 48-55.

Dispositif de vidéo-projection sur une surface de projection non plane (rideau) et/ou couleur non unique(papier peint). Il permet de corriger la déformation géométrique et de compenser la colorimétrie non uniforme. Le projet TLLSLO aborde le problématique de la surface de projection. Dans un premier temps, cette surface est considéré comme plane et unie.

Bhuvaneshwar, V., Mirchandani, P.B. “Real-time detection of crossing pedestrians for traffic-adaptive signal control”, 7th International IEEE Conference on Intelligent Transportation Systems, 2004. 3-6 Oct. 2004, pp 309 – 313.

Jullien Bouchet, Laurence Nigay, and Thierry Ganille. (2005) The ICARE Component-Based Approach for Multimodal Input Interaction: Application to Real-Time Military Aircraft Cockpits. HCI International, 3rd International Conference on Universal Access in Human-Computer Interaction , Las Vegas, Nevada, USA.

Cet article aborde le problème de la conception et l'implémentation d'une interface d'utilisation multimodale. Il a pour exemple la génération automatique d'implémentation d'un dispositif interactif à partir d'un éditeur graphique.

Céline Coutrix, and Laurence Nigay. (2008) Balancing Physical and Digital Properties in Mixed Objects, AVI 2008.

La définition et la caractéristique d'un objet mixte (avec des propriétés physique et numérique).

Jacquemin, C., Planes, B., and Ajaj, R. (2007). “Shadow casting for soft and engaging immersion in augmented virtuality artworks”. In Proceedings, 9th ACM Multimedia 2007, Augsburg, Germany.

L'article aborde deux installations artistiques et immersives réalisées impliquant la création d'une ombre virtuelle. Il décrit la technique du “shadows casting” dans le but de projeter l'ombre sur une surface plane ou pas.

Jacquemin C., and Georges Gagneré (2007). Revisiting the Layer/Mask Paradigm for Augmented Scenery. International Journal of Performance Arts and Digital Media , Vol. 2 Number 3, 237-258.

G. Jacucci, A. Spagnolli, A. Chalambalakis, A. Morrison, L. Liikkanen, S. Roveda, and M. Bertoncini. (2009). Bodily Explorations in Space: Social Experience of a Multimodal Art Installation. In Proceedings Human-Computer Interaction – INTERACT 2009. pp. 62-75. Springer Verlag.

L'article traite le problème de l'évaluation d'émotions des spectateurs selon deux installations.

Yugo Minomo, Yasuaki Kakehi, Makoto Iida, and Takeshi Naemura: ``Transforming Your Shadow into Colorful Visual Media – Multi-Projection of Complementary Colors –,'' Proceedings ACM Intern. Conf. Advances in Computer Entertainment Technology (ACE2005), pp. 61 – 68, Valencia (2005)

Le système est basé sur la synthèse additive et la complémentarité des couleurs. La méthode de compensation de l'intensité lumineuse non uniforme selon un filtre de “gradation filter”. Et la méthode de mesure de l'intensité se réalise selon 15 zones pour générer la texture de compensation d'intensité. Il concerne le travail sur l'ombre physique naturelle avec 2 vidéo projecteurs.

T. Naemura, T. Nitta, A. Mimura, and H. Harashima. Virtual shadows in mixed reality environment using flashlight-like devices. Transactions of the Virtual Reality Society of Japan, 7(2):227–237, 2002.

la réalité augmentée et la virtualité augmentée pour donnée la réalité mixte basé sur 3 caractéristique : géométrie, illumination et temps. La cohérence de ses derniers est très importants. La lumière virtuelle est un objet avec capteur de position considéré comme une lampe. Un dispositif ressemblant à celui de la détection de la silhouette du projet TLLSLO : -caméra plus capteur de position 3d, pour capturer la silhouette (noir sur fond éclairé), et puis vidéo-projeté une ombre virtuelle Un autre dispositif constitué d'une lampe virtuelle (capteur de position 3D), un objet réel avec capteur de position 3D pré-modélisé en maillage virtuel : il est capable de recrée une ombre virtuelle de l'objet réel.

A. Prati, I. Mikic, M. Trivedi and R. Cucchiara, “Detecting moving shadows: Algorithms and evaluation”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 25, pp. 918–923, 2003.

La détection d'ombre est réalisée par la vérification de trois critères : -une changement homogène d'intensité lumineuse locale d'une région en supposant que l'ombre est uniforme, -une forte diminution d'intensité lumineuse, -La conservation des contour du fond (de l'image de référence). Les pistes d'algorithme de détection d'ombre et de silhouette : SNP, SP, dnm1 ,dnm2 Et des critères d'évaluation

Rosin, P. L. and Ellis, T. 1995. Image difference threshold strategies and shadow detection. In Proceedings of the 1995 British Conference on Machine Vision (Vol. 1) (Birmingham, United Kingdom). D. Pycock, Ed. BMVA Press, Surrey, UK, 347-356.

Cet article a contribué au projet TLLSLO les points suivants : -l'idée d'utiliser le soustraction de fond -l'utilisation du filtre médian pour le traitement du bruit vidéo -les propriétés de l'ombre comme une diminution d'intensité lumineuse sans une grande forte variation d'intensité dans une région locale autour d'un pixel donnée

Emmanuelle Revel. 1998. La part obscure de l’illusion. TDC 760, SCÉRÉN – CNDP .

Un article aborde le sujet de l'ombre, la compréhension de l'ombre à travers les siècles. Il décrit les différences représentations de l'ombre selon les avancées artistiques et techniques (peinture, photographie, …).

Salvador, E., Cavallaro, A., and Ebrahimi, T. 2004. Cast shadow segmentation using invariant color features. Comput. Vis. Image Underst. 95, 2 (Aug. 2004), 238-259.

Salvi, J., Armangue, X. and Batlle, J. “A comparative review of camera calibrating methods with accuracy evaluation”, Patttern Recognition, vol. 35, n. 7, July 2002, pp 1617-1635.

Sato I., Sato Y. and Ikeuchi K., “Illumination Distribution from Brightness in Shadows: Adaptive Estimation of Illumination Distribution with Unknown Reflectance Properties in Shadow Regions”, International Conference on Computer Vision, 1999, pp 875-882.

Cet article concerne la modélisation d'un estimateur de la distribution lumineuse d'un objet réel dans un scène selon la distribution de la radiance. Ce n'est pas une application temps réel, ni de la vidéo-projection.

J. Stauder, R Mech, J. Ostermann, “Detection of moving cast shadows for object segmentation”, IEEE Transactions on multimedia, vol 1, n. 1, pp 65-76, Mar 1999. '

R. Sukthankar, T. Cham and G. Sukthankar, “Dynamic shadow elimination for multi-projector displays”, Proceedings of CVPR '01. N. Takao, J. Shi, and S. Baker, “Tele-Graffiti: A Camera-Projector Based Remote Sketching System with Hand-Based User Interface and Automatic Session Summarization,” International Journal of Computer Vision, Vol. 53, No. 2, July, 2003, pp. 115 – 133.

Cet article aborde la calibration automatique, avec deux vidéo-projecteurs pour croiser les flux lumineuse pour l'annulation d'ombre naturelle

D. Toth, I. Stuke, A. Wagner, T. Aach: Detection of Moving Shadows Using Mean Shift Clustering and a Significance Test In: 17th International Conference on Pattern Recognition (ICPR), 23-26 August, Cambridge, vol. IV, pages 260-263, 2004.

Thomas Winkler, Sonja Arend, Lia Hadley, André Melzer, Michael Herczeg. Bubble Caster - A Mixed Reality Children Application for Interactive Shadow Play. Proceedings of the IDC , Boulder, Colorado 2005.

Un exemple d'installation pour enfant, l'article est à effet expérimental, avec processus sur l'évaluation des émotions de l'utilisateur. Il n'est pas à but technique, mais donne une piste sur l'interraction de l'ombre avec des éléments virtuels

Garnett Roman; Huegerich Timothy; Chui Charles; Wenjie He. A universal noise removal algorithm with an impulse detector. IEEE transactions on image processing ISSN 1057-7149

l'implémentation des filtres de dé-bruitage bilatéral et trilatéral : l'utilisation du premier et l'abandon du seconde au à la complexité des calculs.

Lim, Suk Hwan; Yen, Jonathan; Wu, Peng. Detection of Out-Of-Focus Digital Photographs. 2009 Hewlett-Packard Development Company, L.P.

Le principe est de détecter ce qui est devant et ce qui est derrière. Il y a beaucoup de d'hypothèses et de cas particulier (traitement d'un fond brillant comme la neige, ou encore la zone de détection.). Cette détection est basée sur plusieurs critères :

  • la couleur (saturation) de l'arrière plan est plus terne que le premier plan (inutilisable sur des images en noir et en blanc
  • la valeur sharpness (la finesse), qui consiste à dire un objet de l'arrière plan est plus flou qu'un objet du premier plan. Mais comme nous travaillons sur des objectifs à grand angle : difficile de faire la mise au point pour séparer ce qui est flou ou pas

Didier Stricker, Thomas Kettenbach. Real-time and Makerless Vision-Based Tracking for Outdoor Augmented Reality Applications. Fraunhofer Institute for Computer Graphics

Cet article traite la technique de détection de suivi optique sans marquage. La technique consiste à utiliser une base de donnée d'images références. Et lorsque l'opérateur se déplace avec une caméra. La caméra enregistre les images courantes. Ses images sont comparées avec les images références. Si elles sont une forte corrélation. Alors le système pourra déduire la position et l'orientation de l'opérateur. Le projet TLLSLO, dans un premier temps, aura la position de la caméra fixe, mais le déplacement de la caméra, pas forcément selon la position de l'opérateur pourrait être envisager à long terme.

A. T. Nghiem, F. Bremond, M. Thonnat. Shadow removal in indoor scenes. Project Pulsar INRIA Sophia Antipolis France

Cet article propose un algorithme de détection d'ombre d'une image colorée. L'ombre a la propriété de :

  • conserver la “chromaticity” : le rapport entre les canaux de couleurs rouge, vert et bleu ou la conservation de la teinte dans un espace de couleur HSV
  • conserver la texture : la variance entre un pixel est son entourage, pour l'image de référence et l'image de courant. La différence entre ses 2 valeurs doit être faible
  • la réduction d'intensité lumineuse

La première propriété est la plus robuste mais cela suscite d'avoir une image en couleur.

Garth Shoemaker, Anthony Tang, and Kellogg S. Booth. Shadow Reaching : A New Perspective on Interaction for Large Wall Displays. PUniversity of British Columbia

Cet article aborde la technique de “shadow reaching” sur un grand d'écran. Utilisant le principe que plus une personne est proche d'une source lumineuse, plus son ombre de projection est grande. Trois dispositifs ont été décrits :

  • le premier utiliser un capture de position, avec la position de la source lumineuse, et la distance avec l'écran géant, il peut déduire la position de la main, de plus il a dans sa main un contrôleur (widget) qui a des fonctionnalités comme le clique gauche et le clique droit de la souris
  • La source de lumière dernière l'écran et la caméra infrarouge devant l'écran pour l'extraire l'ombre. L'installation consiste à faire interragis une balle qui rebondissent sur les rebords et par rapport à l'ombre de l'utilisateur. Cet installation est similaire à celui du projet R.A.M.
  • le dernier calcule la boite englobante de l'ombre et permet de zomé ou de dézomé selon la tailles de la boites.

Xavier Clady. Interface vidéo pour un art pictural dynamique. LISIF - PARC, UMPC (Paris 6)

L'installation consiste suivre la réalisation d'une œuvre d'art, elle utilise un algorithme basé sur la soustraction de fond statique qui permet de supprimer la main de l'artiste.

Quen-Zong Wu, Bor-Shenn Jeng. Background subtraction based on logarithmic intensities. Chunghwa Telecommunication Laboratories.

Une nouvelle manière de faire le soustraction de fond, est d'utiliser la valeur d'intensité lumineuse après une transformation logarithmique. Cette transformation permet d'obtenir un résultat de la soustraction de façon plus pertinent. Mais elle ne peut pas être appliqué lors de la visualisation(changement de domaine de définition).

R. Cucchiara1, C. Grana1, M. Piccardi2, A. Prati. Detecting Objects, Shadows and Ghosts in Video Streams by Exploiting Color and Motion Information. D.S.I. - University of Modena and Reggio Emilia.

La détection d'ombre se fait à partir d'une image couleur dans l'espace HSV. Il aborde les questions “ghost” (zone détectée étant comme un objet en mouvement)et “ghost shadow”(zone détectée étant comme une ombre en mouvement).

A. Leone, C. Distante. Shadow detection for moving objects based on texture analysis. Istituto per la Microelettronica e Microsistemi IMM-CNR.

Dans cet article, on s'intéresse principalement au fond (l'image de référence pour la soustraction de fond) adaptatif. La méthode permet d'éviter la création d'artefact. En cas général, la mise a jour du fond se fait si l'image courant, n'as pas un énorme changement d'intensité lumineuse, mais au fil du temps, les zones où le performeur passe ne sont pas mis à jour. La méthode proposait dans l'article est efficace si le performeur passe très vite, et ne reste pas dans le champ de vision de la caméra, sinon considérer comme le fond. La méthode de soustraction n'est pas intéressante(pour le moment), car elle est basée sur le calcule de 2 médians.

Alan M. McIvor. Background Subtraction Techniques. Un document de synthèse des techniques de soustraction de fond les plus utilisés.

Chris Stauffer W.E.L Grimson Adaptive background mixture models for real-time tracking

The Artificial Intelligence Laboratory Massachusetts Institute of Technology Cambridge,M A 02139 Réalisation du fond adaptatif selon le modèle gaussien.

Victor I. Stoichita. A Short History of the Shadow (Reaktion, 1997).

Un livre sur l'utilisation de l'ombre en art (et en philosophie) depuis la Grèce Antique jusqu'à l'art moderne ou post-moderne. Fait un tour d'horizon des différentes formes artistiques ayant utilisé l'ombre. Propose des travaux traitant autant de l'ombre portée que de la silhouette, les deux pouvant se rejoindre comme dans la machine à tracer des silhouettes qui repose sur une ombre portée.

Deux critiques sur ce livre

Issue 24 Shadows Winter 2006/07 A Short History of the Shadow: An Interview with Victor I. Stoichita Christopher Turner and Victor I. Stoichita http://www.cabinetmagazine.org/issues/24/stoichita.php

http://www.arlisna.org/artdoc/vol17/iss1/13.pdf

Le clair-obscur

http://en.wikipedia.org/wiki/Chiaroscuro

Athanasius Kircher. Ars Magna Lucis et Umbrae, 1646