ToLaLuSuLo
mode d’emploi
version 1.34
INTRODUCTION
Mise en bouche
Tolalusulo est un projet tapemovie développé par didascalie.net dans le cadre du projet PICRI toute la lumière sur l’ombre mené en partenariat avec la compagnie l’ange Carasuello, le laboratoire LIMSI CNRS et la médiathèque de Taverny.
Ce logiciel est l’aboutissement des recherches et expérimentations autour de l’ombre en vidéo et en lumière effectuées par didascalie.net en marge du spectacle Les révélations d’une ombre.
Le patch est réalisé en Max (version 4.6.3) avec la librairie graphique Jitter (version 1.6.3) dans l’environnement tapemovie.
Le but de ce logiciel est de permettre une écriture du médium vidéo suivant un scénario interactif donc non linéaire et son contrôle en temps réel.
ARCHITECTURE GLOBALE DU LOGICIEL
Tolalusulo est un logiciel qui permet :
• Le traitement vidéo et le compositing en temps réel
• La mémorisation d’effets et la dynamisation possible
On dispose de différentes sources :
1 acquisition de caméra live
2 lecteurs de films
2 lecteurs d'images
1 générateur de bruit vidéo
On dispose ensuite de 5 canaux (identiques) de traitements qui comportent chacun :
1 délay vidéo (avec fonction looper)
1 correcteur de luminosité, contraste et saturation
1 fonction de recadrage
1 fonction de rotation de l'image, zoom et répétition de l'image
1 fonction de masque
1 echo
1 flou
1 plan de projection dans un espace 3D
Un plan supplémentataire est disponible afin de pouvoir placer une image en fond par exemple. (sans traitements possibles)
DISPOSITIF MATERIEL
Description du dispositif
Le logiciel Tolalusullo prend sa place au sein d’un dispositif qui comprend :
Une caméra
Celle-ci est dédiée à la capture de l’ombre
Un vidéoprojecteur
Celui-ci est dédié à la restitution de l’image.
Si l’on souhaite projeter l’image au même endroit que la capture a lieu, alors il faut équiper la camera d’un filtre infrarouge afin d’éviter le larsen vidéo.
La capture de l’ombre
La capture de l'ombre est l'étape durant laquelle nous allons fabriquer une ombre à partir d'une silhouette. Deux solutions sont possibles, surexposer le fond afin d'avoir une silhouette qui se détache ou créer un couloir de lumière latérale qui permet de n'éclaire que le sujet sans éclairer le fond.
Cette étape de la capture de l'ombre ne doit pas se faire dans le noir absolu, mais nécessite un minimum d'obscurité pour fonctionner.
LE SIGNAL VIDEO
Synoptique
Le projet est articulé sur 5 canaux de vidéo. Chacun des canaux a deux entrées, à savoir une entrée principale sur laquelle on va faire la capture de l’ombre (si besoin est) et un autre qui permettra de remplir l’ombre de textures image ou vidéo si nécessaire.
Chacun des 5 canaux comporte le même nombre de traitements et finit par un plan. En plus de ces 5 canaux il y a 1 acquisition caméra, 2 lecteurs de films et 2 lecteurs d’images fixes et un générateur de bruit vidéo. Un plan sans aucun traitement est disponible en plus permettant d’afficher simplement une image en plus des 5 ombres.
M
atricage
Le matricage des effets Tolalusulo est prédéfini comme le montre la figure 1.
Enregistrement
/movie/record/sw : Enregistrement de la caméra brute sur le disque dur.
/movie/camera/record/sw : Enregistrement de la fenêtre de rendu sur le disque dur.
Les enregistrements seront crées dans le dossier /project/media/movies/record avec pour nom la date et l’heure.
ex : yymmdd_hhmmss.mov
Les enregistrements sont faits en format Photojpeg à la taille 640 480.
L’INTERFACE
L’interface est séparée en plusieurs parties
Choix du projet et initialisation. Le choix du projet ce fait en cliquant sur le bouton projet. L'initialisation, accessible dans le petit menu de droite, permet de mettre en route le logiciel ou de remettre le projet en l’état initial, c’est à dire comme à l’ouverture du projet. Elle doit être faite après le chargement d’un projet, ou à chaque fois que l’on veut «remettre le système à zéro».
Les modules sources permettent de « nourrir » les canaux de traitements sus-cités.
2 lecteurs de films
1 caméra live
2 lecteurs d'image
1 générateur de bruit vidéo
Les canaux de traitements sont identiques et sont au nombre de cinq. Ils prennent en entrée une source et l'affiche dans la fenêtre de rendu.
L'enregistrement vidéo qui permet d'enregistrer sur le disque dur :
la caméra sans traitement
la caméra après traitement
le rendu final
Le bouton windows permet d’appeler différentes sous fenêtre
Le protocole visca permet de piloter les caméras Sony Visca
L'interface réseau permet d'envoyer des informations sur le réseau et/ou d'en recevoir. Tolalusulo est compatible avec le protocole Open Sound Control (OSC)
Les mappers permettent de pouvoir créer des mises en correspondance de paramètres, notamment avec des contrôleurs externes, tels que lemur, ipod/iphone etc...
Le système de mémorisation d'effets, appelé Event Manager permet de mémoriser des états du logiciel (presets)
le protocole minuit est un complément de l’OSC, permet de discuter avec le séquenceur virage.
Chaque partie de cette interface est constitué de différents modules. Chacun de ces modules dispose d’un switch permettant de les allumer/éteindre. Les modules allumés voit leurs noms en rouge. Certains modules nécessite une source vidéo pour fonctionner. Sélectionner la source dans le menu situé en haut de chacun de ces modules.
LES SOURCES
La caméra
Le module caméra permet d’acquerir de l’image en live via n’importe quel type de caméra branché à l’ordinateur et reconnu par Quicktime (USB, Firewire, ou passant par une carte d’acquisition vidéo).
Les lecteurs vidéo
Les modules de lecture vidéo permettent de charger des vidéos dans le projet. Celle-ci peuvent etre des enregistrement de caméra pour travailler hors dispositif, ou des sources vidéos quelconques.
Format vidéo conseillé : photojpeg 75%
Les lecteurs d’images
Les lecteurs d’image permettent de charger des images fixes, types photo.
Le bruit vidéo
Le générateur de bruit vidéo génère une image de bruit vidéo (parfois appelé neige).
LA CALIBRATION
La calibration est le prétraitement de l’ombre afin de rendre l’image acquise par la caméra le plus propre et le plus exploitable possible. Différents traitements possible interviennent :
déinterlace : le désentrelacement est nécessaire sur certaine vieille caméra. En effet certaines caméras film de façon entrelacé, c’est à dire qu’elle filmeront des moitiés d’image à 60 frame par seconde, qui une fois recomposé donneront une image complète à 30 frame par seconde. Le désentrelacement permet de recomposer cette image.
median : le filtre médian permet de débruiter l’image. C’est un outil statistique proche de la moyenne permettant d’éliminer les défauts de type bruits impulsif dans l’image.
bilateral : le filtre bilatéral est aussi un outil de débruitage de l’image.
thresh : passe l’image en noir et blanc et élimine la partie sombre (ou clair) de l’image. Une valeur de seuil doit être fixé.
dilate : agrandit légèrement l’image afin de supprimer les défaut et fourmillement au contour
erosion : rétrécit légèrement l’image afin de gommer les défaut et fourmillement au contour
crop : recadre l’image sur l’ombre
rota : complète le crop
blur : ajoute un léger flou lissant l’ombre et gommant les derniers défaut
élimination du fond : un bouton rouge permet d’enregistrer un fond à soustraire à l’image. C’est une autre méthode que le thresh dans certains cas très efficace pour ne conserver que le sujet à traiter.
Un détail des algorithme utilisé est disponible ici : http://vida.limsi.fr/doku.php?id=wiki:tllslo_module_dombre
LE MODULE TOLALUSULO
Le module Tolalusulo est un module d’effets préétabli, associé à un plan de projection. L’ensemble des effets ainsi que leurs ordres dans le pipeline de traitements à été défini autour de cas pratique pour répondre à la plupart des traitements possible sur l’ombre. Chaque effet de ce pipeline peut être activé ou non. Nous trouvons dans l’ordre :
buffer : le buffer offre de jouer avec le temps. Il permet de retarder (mode delay) ou capturer (mode loop) de courte séquence du temps réel. Ce module nécessite de définir la taille du buffer avant d'être utilisé. Celle-ci (ainsi que les autres parametres du buffer) est exprimé en frame. (Tolalusulo tourne en 25 frames par seconde par défault).
Attention le buffer est à utiliser avec précaution... peut vite planter en fonction des configurations et de la taille choisi du buffer.
brcosa : le module brcosa permet de jouer sur les parametres de luminosité, constraste et saturation de votre image.
crop : le crop recadre l’image pour n’isoler que la partie qui vous intéresse. Il définit les coordonnées de chacun des cotés de l’image, normalisé entre 0 et 1. Le menu more dispose aussi de paramètre de edgeblend, permettant d’adoucir les bords.
rota : rota permet de travailler sur l’image en lui affectant des rotations et zoom. Un offset est disponible pour déplacer le centre de rotation. Cet offset est exprimé en pixel. Le zoom dispose aussi de différents mode, modifiant la façon dont l’image se répète dans l’espace (boundmode).
tresh : le threshold permet d’utiliser l’image entrante comme masque en niveau de gris sur le flux d’image reçu dans la seconde entrée vidéo du module.
slide : le slide est un effet temporel qui garde en mémoire les précedentes images qui disparaissent lentement. Cela crée une sorte d’effet qu’on pourrait qualifié de «flou de bougé».
blur : le blur est un flou.
Enfin le plane permet de projeter l’image dans un espace 3D. Le plan peut etre déplacer dans l’espace. Une teinte peut aussi être défini sur la plan (le slider supérieur permettant de définir la saturation). Enfin le plan dispose d’un slider à droite permettant de gérer l’alpha, c’est à dire l’opacité du plan.
LES MAPPINGS
Dans le menu windows on trouve différentes sous fenêtres. La fenêtre maps offre différentes possibilités de mapping. Le mapping consiste à transformer une donnée entrante pour l’adapter à un paramètre du projet que l’on veut contrôler. On trouvera donc dans la fenêtre maps 4 mapper permettant de prendre n’importe qu’elle source de données (OSC en écrivant le message reçu dans la source, ou message provenant d’un module) pour la mapper sur n’importe quel paramètre de l’environnement.
On trouvera aussi 2 mappers associé pour l’un à un lfo, pour l’autre à un random. Le lfo et le random sont des générateurs de signaux, aléatoire pour le random, mathématique pour le lfo (suivant un sinus).
Enfin, on trouvera aussi 2 mappers dédié au contrôles midi.
L’OSC
La gestion des entrées et sorties OSC se fait dans la sous fenetre dédié OSC. On dispose dans Tolalusulo de 3 entrées et 3 sorties OSC.
LA GESTION DES MEMOIRES
La gestion des mémoires à lieu au sein de la sous fenêtre event des events manager. Il est possible d’enregistrer les paramètres du projet indépendamment suivant leurs fonction. Ainsi les paramètres permettant la capture de l’ombre sont regroupés ensemble dans des mémoires de calibration (cal) et les autres paramètres sont regroupés ensemble dans des mémoires d’effets (fx). Les paramètres liés aux mappers, lfo et random sont dans les mémoires de mapping (maps) et les mémoires concernant le réseau sont regroupées sous l'appellation osc. Enfin, les mémoires tapemovie enregistre l’ensemble des paramètres du projet.
SDK
Le patch est un projet tapemovie. Toute l’interface a été faite dans la fenêtre instruments et un système de mémorisation est développé pour que l’écriture soit plus aisément faite.
Pour plus d'information sur le développement de modules tapemovie, merci de consulter le SDK tapemovie (software developpement kit)/