Le travail scientifique mettra l’accent sur l’utilisation de l’ombre dans trois directions comme :

• moyen d’interaction avec le monde numérique ;
• moyen d’augmentation de la surface projetée en utilisant l’ombre pour y incruster des informations complémentaires ;
• support à la sensation de présence dans l’univers virtuel.

Pour cela, il s’appuiera sur des techniques de radiométrie permettant de mesurer les propriétés d’un support et, surtout, de faire la différence entre une image projetée et son rendu projeté effectif, afin de détecter les interactions par des occultations ou des surcharges lumineuses de la surface projetée.
Une fois les interactions détectées (ombres ou éclairement), l’image projetée variera en composant avec un rendu temps réel dont le contenu sera défini par les interactions et viendra s’afficher dans les zones d’ombre.

Trois modes d’ombrage seront mis en œuvre:

• un ombrage par occultation lorsque l’utilisateur s’interpose entre la source de vidéoprojection et la surface projetée,
• un ombrage par masquage d’une source lumineuse permanente éclairant la surface projetée qu’elle soit visible ou non (projection infrarouge),
• un ombrage virtuel par capture d’image vidéo de l’utilisateur et reprojection dans le monde virtuel.

En résumé, le travail scientifique débouchera sur la réalisation d’un environnement de réalité augmentée dans lequel l’ombre d’un utilisateur sur une surface vidéo-projetée sera détectée, analysée, éventuellement compensée ou complétée par une projection vidéo annexe et utilisée comme support
de l’interaction.
Dans le champ de la réalité mixte, par la combinaison de mondes réels et virtuels, et dans celui des interfaces multimodales, par l’association du geste et de l’image projetée interactive, « Toute la lumière sur l’ombre » propose une modalité innovante d’interaction, l’ombre, en l’utilisant à la fois comme dispositif d’entrée et comme médium de sortie. Par ailleurs, les techniques utilisées requerront des développements spécifiques de traitement d’image temps réel (calculs de différences d’images, compensation radiométrique, extraction de masques, seuillage adaptatif...).

Plus d'information sur l'espace de développement numérique du projet