Détail du sujet

29/11/2018 Sujet 14 :  AVAA : Augmentations visuelles d'interactions avec des instruments de musique numériques
Auteur : Florent Berthaut  Ecrire Site
(Responsable Informatique : Florent Berthaut  Ecrire )
Sujet recherche

       Ce projet s'inscrit dans les travaux de l'équipe MINT sur l'expérience des spectateurs lors de performances de musique électronique.
La diversité et la complexité des instruments numériques utilisés lors de ces performances font que lien entre les gestes effectués par le musicien et la musique produite n'est plus aussi évident qu'avec les instruments acoustiques. Il est ainsi difficile de savoir quelle est l'implication réelle du musicien dans la performance, ce qui nuit à l'appréciation de la performance par les spectateurs.
Une solution à ce problème est d'augmenter visuellement ces instruments afin d'amplifier les gestes, de représenter la structure et l'activité de l'instrument et de révéler les liens entre les gestes et les changements dans le son. Ces augmentations peuvent ensuite être intégrées aux performances grâce à des affichages en réalité augmentée (Augmentations sur smartphone, Reprojection de la performance augmentée, Pepper's Ghost).

Ceci nécessite cependant d'extraire en temps réel les contrôles et les processus depuis les instruments, et de choisir des représentations visuelles de ces différents éléments à la fois respectant les principes pour une augmentation efficace et proches de l'esthétique de la performance. De plus, un Visual Jockey (VJ) pourrait contrôler en temps-réel les augmentations, choisissant par exemple des configurations différentes en fonction du public ou de l'évolution de la performance.

L'objectif de ce projet est de concevoir un système composé de deux composants logiciels (ou l'un des composants si le projet est réalisé par un seul étudiant).
Le premier, destiné aux musicien-ne-s électroniques et s'intégrant aux instruments numériques (par ex. logiciel Ableton Live) pour gérer l'extraction d'informations en temps-réel et la transmission.
Le deuxième, destiné aux VJs, permettant d'importer des images et animations, de les configurer (par ex. quelle animation représente un changement de volume, quelle animation représente un potentiomètre tourné par le musicien), de les placer dans un espace 3D avec la vidéo provenant d'une caméra ou sur fond noir (pour affichage Pepper's ghost) et de les connecter aux informations extraites des instruments.
       
Travail à effectuer:
 - Effectuer un état de l'art sur les applications de VJiing et les augmentations visuelles
 - Définir les besoins en termes d'informations à extraire et afficher et de workflow pour la création graphique. Cette partie pourra s'appuyer sur des discussions avec des musiciens et VJ, et nécessitera une phase de modélisation et de maquettage.
 - Développer l'un des ou les deux composants logiciels, qui communiqueront via le protocole OpenSoundControl
   - un plugin VST à l'aide de la bibliothèque JUCE
   - une interface web dédiée aux VJs permettant de configurer les augmentations à partir des informations récoltées sur l'instrument et de les manipuler en temps-réel, sous forme d'application Node/Electron (Javascript, WebGL, HTML/CSS).

Liens associés :
Sujet non-attribué