Enterblack

Le projet

Enter Black avait réalisé un projet appelé le Métamorpheur. Il s’agit d’un Photo Booth dans lequel un vidéo projecteur projette des filtres (type filtre Instagram) directement sur le visage des personnes. TorrusVR devait amener ce projet à sa V2 en ajoutant du tracking de visage afin que la projection suive le déplacement des personnes.

Les enjeux techniques

Tracking du visage

Le tracking du visage se fait grâce à un algorithme basé sur du machine learning. Il nous permet d’obtenir 478 “landmark” faciaux. La difficulté dans le tracking résidait ici en deux points : L’obscurité due au Photomaton. L’image récupérée par la caméra est très sombre La détection lorsqu’un filtre est projeté sur le visage. La projection du filtre brouille fortement l’image de la caméra et l’analyse est plus compliqué. Afin de limiter ces risques, les deux premières semaines de développement ont été consacrées au benchmarking de différents algorithmes dans ces conditions d’environnement complexes.

Calibration caméra et projecteur

Pour transformer la position en pixel du visage vue par la caméra en une position de l’image projetée par le vidéoprojecteur il a fallu calibrer la caméra et le vidéo projecteur pour déterminer la translation et rotation entre ces deux. 

Nous avons développé des outils permettant de faire ces différentes calibrations. Il s’agissait de la partie cruciale et la plus complexe du projet. Sans ces algorithmes, la projection n’aurait jamais été bien alignée sur le visage.