Le programme « Lille, Ville d'Arts du Futur » et la direction du patrimoine ont proposé le

Vendredi 17 septembre à 20h30 - Eglise Saint-Michel

un concert d'ouverture mêlant orgue et nouvelles technologies !

Prenez un orgue remarquable ; placez-y des micros dans les tuyaux ; ajoutez-y un zeste de vidéoprojection… Laissez mixer le tout par un collectif composé d’artistes et de chercheurs du LIMSI – CNRS… Vous obtiendrez un concert inédit et insolite, une véritable expérience sonore et visuelle alliant arts, patrimoine et nouvelles technologies !

http://wwe.kewego.fr/video/iLyROoafZCEe.html

Orgue et réalité Augmentée conception: C. d'Alessandro, B. Planes, C. Jacquemin, M. Noisternig et al.

Présentation sur le Site Mairie de Lille

Exposition du 15 mai au 13 juin 2008

Eglise Sainte Elisabeth(plan)
195 rue du Temple, 75003 Paris


Un projet du LIMSI soutenu par le festival de la Mairie de Paris: Sciences sur Seine

Orgue et réalité augmentée : Utilisation des nouvelles technologies de traitement audio et vidéo temps réel pour augmenter/modifier le rapport d’un grand orgue avec son espace acoustique et visuel, en situation de concert. Le son interne de l’orgue est capturé, modifié et diffusé dans l’espace en temps-réel. Le son réel et le son virtuel sont mélangés dans l’espace acoustique de l’église. L’orgue augmenté est joué par l’organiste et par un musicien qui contrôle en temps réel la transformation et la diffusion du son de l’instrument. Ce jeu entre l’orgue réel et son double permet de changer l’espace acoustique du lieu, les registrations de l’instrument, et même son identité sonore. La façade de l’instrument est animée par une projection vidéo dynamique du son. L’installation Bump It. utilise les techniques graphiques mises en œuvre pour la génération d’univers virtuels. Bertrand Planes propose un procédé permettant de changer les surfaces et texture de la façade de l’instrument.

Grand Orgue :

• Christophe d'Alessandro

Transformations audio temps-réel :

• Markus Noisternig

Installation video :

• Bertrand Planes

Conception audio:

• Christophe d'Alessandro
• Markus Noisternig
• Sylvain Le Beux
• Lorenzo Piccinali
• Brian Katz
• Nicolas Sturmel
• Nathalie Delprat

Conception video:

• Rami Ajaj
• Christian Jacquemin

Oeuvres musicales de:

• F. Couperin
• J.S Bach
• C. Franck
• O. Messiaen
• C. d'Alessandro

• Les douze degrés du silence : (1 2 3)
  Christophe d’Alessandro
• Offertoire sur les grands jeux. Messe à l’usage ordinaire des Paroisses, pour les Festes solemnelles, 1690,
  François Couperin (1668-1733)
• Chromhorne sur la taille. Messe propre pour les couvents de religieux ou de religieuses, 1690,
  François Couperin (1668-1733)
• Les douze degrés du silence : (4 5)
  Christophe d’Alessandro
• Toccata et fugue en ré mineur.
  Johan-Sebastian Bach (1685-1750)
• Prélude de choral: O Mensch, bewein' dein' Sünde groß .
  Johan-Sebastian Bach (1685-1750)
• Les douze degrés du silence : (6 7)
  Christophe d’Alessandro
• Prélude, fugue, variation (1863),
  César Franck (1822-1890)
• Les douze degrés du silence : (8)
  Markus Noisternig
• L’Ascension, méditation symphonique : Prière du Christ montant vers son Père (1933)
  Olivier Messiaen (1908-1992)
• Les douze degrés du silence : (9 10 11 12)
  Christophe d’Alessandro

Les « douze degrés du silence »

Orgue et environnement électronique, d’après Dorothée Quoniam (1839-1874)

« Une sœur la vit une fois pendant le temps du silence de midi se tenant debout dans sa cellule, la porte ouverte, et semblant écouter avec attention. Elle lui demanda plus tard ce qu’elle faisait ainsi. Dorothée répondit qu’elle avait écouté le silence. Elle mit par écrit pour cette sœur ce que le silence lui avait révélé. C’est ainsi qu’un petit écrit d’une admirable profondeur sur les douze degrés du silence vit le jour ». (Edith Stein, « Source Cachée », Cerf/Ad Solem, 1998, Arfuyen 2005)

1. Parler peu aux créatures et beaucoup à Dieu :
2. Silence dans le travail, dans les mouvements :
3. Silence de l’imagination
4. Silence de la mémoire
5. Silence aux créatures
6. Silence du cœur :
7. Silence de la nature, de l’amour propre
8. Silence de l’esprit
9. Silence du jugement
10. Silence de la volonté
11. Silence avec soi-même

Photos de Christian Jacquemin (jeudi 15 mai 2008)

Photos de Christian Jacquemin (samedi 17 mai 2008)

Vidéo de Christian Jacquemin (samedi 17 mai 2008) (version HD - format DivX) ou Youtube

Vidéos de Nathalie Delprat (making of du projet)

• ORA1_orgue
• ORA2_projet
• ORA3_ essais
• ORA4_concerts
• ORA5_coupées (format Mov)

Responsable du projet: Christophe d'Alessandro (LIMSI-CNRS)

Participants: Rami Ajaj (LIMSI-CNRS), Nathalie Delprat (LIMSI-CNRS), Christian Jacquemin (LIMSI-CNRS), Brian Katz (LIMSI-CNRS), Sylvain Le Beux (LIMSI-CNRS), Markus Noisternig (LIMSI-CNRS), Lorenzo Pinacli (LIMSI-CNRS), Bertrand Planes (Maison des Artistes), Nicolas Sturmel (LIMSI-CNRS)

Partenaires: Mairie de Paris, LIMSI-CNRS, Eglise Sainte Elisabeth de Hongrie

Résumé

Ce projet explore plusieurs aspects de la relation entre science et art. A la fois évènement artistique, évènement techno-scientifique et pédagogie scientifique, il est centré sur l’acoustique dans l’espace, avec une composante physique et une composante numérique, à travers les grandes orgues et un dispositif de spatialisation du son. Le projet s’articule la partie sonore avec une partie graphique qui projette sur la façade de l’instrument une image numérique visualisant des aspects du son au moment où il est produit.

Propos

Utilisation des nouvelles technologies de traitement audio temps réel pour augmenter/modifier le rapport d’un grand orgue avec son espace acoustique. Le grand orgue est lié à l’espace pour lequel il est conçu. Ce projet pédagogique vise d’une part à rendre explicite les bases du fonctionnement acoustique de l’orgue et de la propagation du son dans l’espace d’une salle, et d’autre par à augmenter par les nouvelles technologies de traitement audio temps-réel les possibilités sonores de l’instrument. Le son interne de l’orgue est capturé, modifié et restitué dans l’espace en temps-réel. Sur le plan graphique, ce projet propose une installation vidéo lors de concerts d'orgue afin de donner une connotation contemporaine à l'instrument en lui attribuant des indices visuels de la musique numérique (les barres de volume des instruments de lecture ou des logiciels de streaming) et de le rendre plus transparent en explicitant les zones de l'instrument dont sont issues les notes entendues.

Objectifs généraux

Les objectifs généraux sont triples : Pédagogiques, scientifiques et artistiques.

• Pédagogie de l'acoustique instrumentale : expliquer les notions de bases de l’acoustique, l’acoustique dans les tuyaux, la propagation acoustique, l’acoustique des salles. Une série de posters fixes et une ou plusieurs conférences grand public ponctueront les aspects pédagogiques

• Création musicale : l’orgue augmenté, c'est-à-dire l’orgue jouant à la fois le son direct de l’instrument et un son capturé, modifié et restitué sur une série de haut-parleurs distribués dans l’espace, sera utilisé pour un ou plusieurs concerts, avec du répertoire et de l’improvisation. Un atelier pour compositeur et/ou improvisateur est aussi possible, ainsi qu’un enregistrement et/ou une émission de radio.

• Augmentation audio: ce projet implique la réalisation d’un dispositif temps réel de capture, modification et restitution du son. Un tel projet appliqué au grand orgue n’a jamais été réalisé, et il devrait apporter de nouvelles questions sur le rayonnement acoustique de l’instrument, sa perception, son fonctionnement acoustique, son interaction avec la salle. Des logiciels de traitement temps réel seront aussi crées pour cette occasion.

• Visualisation de l'information : Elle permettra au public de mieux comprendre et écouter l'orgue en rendant explicite en temps réel des informations sur la musique jouée. Les informations concerneront les caractéristiques physiques de la musique (hauteur, volume…) et les parties de l'instrument produisant les notes entendues. La visualisation de l'information est un champ scientifique qui permet de tirer parti des capacités analytiques de la vue humaine et permet à des utilisateurs d'extraire des informations à partir de présentations visuelles de données. Elle devrait donc permettre au public d'avoir accès en temps réel à des informations explicites sur les morceaux joués.

• Réalité augmentée graphique : Ce projet présentera un dispositif dit de réalité mixte ou augmentée qui permet de mieux intégrer les mondes physiques et numériques. Nous ne l'utiliserons ici qu'en sortie de l'information et ne prévoyons pas de dispositif d'entrée. La fusion des deux mondes consistera donc à enrichir le monde physique en y incorporant des informations du monde numérique sous forme visuelle en projetant des représentations graphique des données sur les tuyaux d'orgue. À cette fin, nous utiliserons un procédé d'anamorphose qui permettra de projeter des barres de hauteur sur les orgues en s'adaptant à leur géométrie (la notion d'anamorphose est utilisée très simplement en déformation trapézoïdale de l'image dans les vidéo-projecteurs du commerce).

Concerts

Deux concerts auront lieu les 15 et 17 mai 2008 à 21h à l'Eglise Ste Elisabeth de Hongrie, 195, Rue Temple, 75003 Paris

Partenaires

Le projet est construit autours de trois partenaires principaux : la mairie de Paris, le LIMSI-CNRS et le lieu d’accueil du projet (l’église Sainte Elisabeth du Temple). Les contributions des différents partenaires s’articulent de la façon suivante :

• La Mairie de Paris propose le cadre (le festival « Sciences en Seine ») et participe à la subvention du projet, à la suite de cet appel à projet. La Mairie assure également la promotion du projet dans le cadre de ce festival. Le budget de l’aide financière demandée pour ce projet est joint.
• Le LIMSI-CNRS crée et coordonne le contenu scientifique, artistique et pédagogique du projet. Il élabore et réalise le matériel pédagogique, la mise en place technique. Il organise les évènements scientifiques et artistique, en faisant intervenir scientifiques, plasticiens et musiciens. Il met à disposition du projet le personnel cité dans ce document. Il contribue au projet par du prêt de matériel et de logiciels (haut-parleurs, logiciels de spatialisation sonore, de rendu de scènes visuelles, d’analyse spectrale). Il développe les logiciels nécessaires à la mise en oeuvre du projet.
• L'église Sainte Elisabeth de Hongrie. Mise à disposition du lieu, des espaces d’exposition, de l’instrument, accueil de l’installation, du public, la mise à disposition des fluides (en particulier électrique), promotion du projet par ses moyens propres.

Tous les évènements prennent place à l'Eglise Ste Elisabeth de Hongrie, 195, Rue Temple, 75003 Paris

Concerts

Jeudi 15 mai et samedi 17 mai 2008 à 21h.

Exposition

Exposition sur l'acoustique de l'orgue dans l'espace et le traitement audiovisuel temps-réel des sons d'orgue pour la création musicale et plastique.

A partir du jeudi 15 mai 2008.

Pédagogie - Expérimentation

Visites et expérimentation sur les possibilités d'augmentation audionumérique temps réel d'un orgue, pour un public spécialisé (organistes, facteurs d'orgue, compositeurs, étudiants des conservatoires …) Vendredi 16 et samedi 17 mai, programme à définir

Conférences

Conférences d'introduction au projet avant les concerts.

A confirmer, organisé par la paroisse Sainte Elisabeth, samedi 16 mai après midi, conférence sur le rôle jouée par l'orgue dans l'église.

La photo de l'orgue éclairée par le VP en lumière blanche (photo prise depuis le vidéo-projecteur), la même photo rehaussée de couleur, et la reprojection de cette photo colorisée sur l'orgue.

La photo de l'orgue éclairée par le VP est importée dans Inkscape, des chemins sont saisis (4 points par tuyau d'orgue) et l'ensemble de l'image svg est convertie en quads pour Virtual Choreographer (VirChor). Ces quads sont texturés avec des textures de vumètre faites sous Gimp.

Multi-layer architecture in VirChor

Previsions for PC and VP localization + Ethernet & VGA connections

Stage management: Graphics, Audio and cables.

Plans sonores de l'instrument

Argument général

capture du son intérieur de l’orgue, puis transformation et restitution en temps réel dans le même espace ou un espace voisin.

Au niveau de la captation, le buffet de l’instrument possède 5 parties plus ou moins isolées, le positif de dos (1er clavier), le buffet central (grand orgue, 2ème clavier) le récit expressif (3ème clavier) et les tourelles latérales (clavier des pédales). Grand orgue et pédale sont sur le même plan, et ne sont pas isolés acoustiquement. Le positif est un buffet séparé, le récit est au 2ème étage, et il est enfermé dans une boite expressive, dont on peut ouvrir ou fermer les jalousies à volonté par une pédale d’expression au niveau de la console.

Chacune de ces parties de buffet est un plan sonore séparé, qui peut recevoir un ou plusieurs micros. La configuration minimum est 5 micros : positif de dos, récit, pédale ut, pédale ut#, grand orgue ut, grand orgue ut#. On peut imaginer plus de micros, pour par exemple faire une différence graves/aigus.

La restitution du son se fait selon deux modalités : l’orgue intérieur, et l’orgue augmenté, ou orgue mixte. L’orgue intérieur est la présentation dans une pièce isolée phoniquement du sont capté dans les buffets. L’orgue mixte est le mélange du son direct avec un son modifié et restitué sur haut-parleurs.

Le plan de l’église montre un volume principal dans la nef, des bas cotés, et un déambulatoire. L’implantation des HP peut donc être variée, des essais sont nécessaires.

joué dans un endroit dédié, par exemple le sas d’entrée de l’église, qui est bien isolé phoniquement. Ou dans un couloir peut-être afin de proposer un concert itinérant « dans » l’orgue. Il faudrait soit 5 HP soit un mixage des 5 micros sur 2 HP ou plus.

Dans l’espace général de l’église : mélange/mixage des sons intérieurs transformés et du son direct de l’instrument.

Changement de niveau dynamique – registres virtuels

Le son capté à l’intérieur est amplifié et mélangé au son direct. Possibilité de vastes crescendos, possibilité aussi de rajouter des registres différents, par exemple en augmentant beaucoup un jeu doux. Possibilité de jeux avec les sons doux du récit boite fermée, et aussi de faire entendre fort le son intérieur à l’exterieur

Spatialisation

Changement de localisation des plans sonores : le récit par exemple au fond de l’église, ou le positif au milieu.

Retard, décalages temporels

Un effet d’écho variable, qui peut être intéressant s’il est dynamique.

Réverbération, acoustique de l’église

Réverbération du son capté à l’intérieur, pour changer le volume virtuel de l’église, ou bien son acoustique.

Jeu sur les attaques

Accentuation ou atténuation du niveau au moment des attaques de notes. Permet de jouer avec l’articulation.

Distorsion, granulation

Traitement du son pour rajouter de la distorsion : écrêtage, granulation, distorsion, effets audios divers. L’effet ne peut être qu’une augmentation du son

Atténuation du son

Je ne sais si c’est possible de diminuer également le son réel dans certaines zones de l’espace, ou de diminuer la réverbération de la pièce par annulation d’écho. L’atténuation du son direct serait un effet intéressant.

Changement de hauteur, harmonisation

Mélange de son direct et de son décalé en hauteur. Avec un faible décalage, il y aura des battements. Avec un décalage plus fort, un effet d’harmonisation en « faux-bourdon » (sons parallèles à un intervalle fixe).

modulation

Modulation ou modulation croisée du son. Comment transformer un orgue historique en mini-moog ©

création de mixtures virtuelle

Un effet très intéressant, s’il fonctionne. Ajouter au son des harmoniques artificiels, c'est-à-dire des versions du même son à l’octave, la double octave, la double quinte.

Le mixage de la partir numérique est soit statique, soit dynamique.

Le mixage statique correspond à des « registres virtuels », c'est-à-dire à des plans sonores, ou effets sonores fixes que l’on appelle ou retire à volonté.

Le mixage dynamique fait appel à un OJ (Organ Jockey) pour jouer avec la transformation de l’orgue augmenté pendant le jeu, en accord ou en dialogue avec l’organiste, qui joue lui la partir analogique de l’instrument.

The next message illustrates the message received by graphics from audio and the distribution of received values by graphics on the various pipes:

• scene structure: 2 frustums + 2 sets of plans that build the scene + shaders for organ pipes with sampled texture masking (Rami)

• mapping between power spectral density values, organ parts activation values and visual rendering (audio + graphics)