Le Mapping
travail en cours
Definition
(mots clés associés: capteurs, mapping, moteur, intéraction, geste, perception, contrôle)Définition : Le terme anglophone "mapping" est utilisé en informatique musicale pour désigner la fonction de correspondance qui relie le GESTE AU SON dans un système audionumérique à commande gestuelle. Le mapping décrit comment relier les donnéees délivrées par les contôleurs gestuels aux paramètres du processus sonore (par extension multimédia). Donc le mapping est LE LIEN ENTRE L'ACTION ET LA PERCEPTION.
Que les signaux proviennent de capteurs posturaux, physiologiques, biologiques etc.; que ce soit du camera tracking ou de la detection de pitch ou de hauteur sur un son, les valeurs brutes ne sont que la partie visible de l'iceberg.
Un travail d'analyse de signal et une interprétation non linéaire de celui-ci permettent d'envisager un rapport plus expressif du corps vers les médias.
Approche
Il faut décomposer le mapping en plusieurs sous-bloc:
- Capteurs physiques (propriétés électrique, électronique et mécanique)
- Calibration par rapport au geste (cohérence geste/données capteurs)
- Module des données d'entrée du mapping (protocole d'entrée du mapping)
- Module du traitement des données (traitement du signal)
- Module de sortie vers les adresses du moteur (protocole de sorties du mapping)
Donc on utilise un capteur physique (spécificité suivant les données constructeur), on le calibre par rapport à son placement physique et sa plage de fonctionnement resultante de contraintes!
On route la donnée calibrée de ce capteur dans le module de traitement puis on le sort vers les adresses du moteur responsable des processus sonore ou vidéo.
- Module d'entrée (post-calibrage):
- Module de traitement:
- Module de sortie du mapping
Notion de cognition et perception
Comme tout système incluant le geste et donc la manipulation par notre corps via des capteurs de processus visuel ou sonore, une boucle d'apprentissage entre geste et paramètres de mapping et moteur se combinent. La boucle est itérative (on apprend le geste qui influence le processus sonore en affinant aussi les paramétres du processus sonore qui influence le geste).
Le but est d'avoir un processus satisfaisant au niveau perceptif dans un contexte donné (perception de notre propre geste et perception du processus crée). Le geste (peut être une phrase chorégraphique) est alors abordé comme des actions décomposées finement et les moteurs doivent être les plus complets dans leurs fonctionnalités afin de proposer une richesse de création de processus.
La perception est un domaine qui succite beaucoup d'études, aussi bien en son et vidéo que dans le geste! Les paramètres du geste et leurs richesses sont difficilement traduisibles en composante simple. L'acquisition des gestes, le mapping et les fonctionnalités de moteur réduisent par perte d'informations ou par limitations techniques, le lien entre geste et processus synthétisé! Il faut recontextualiser le processus sonore ou vidéo dans l'élaboration de comportement des interactions gestes/processus. (à clarifier!)
