Enterblack

Quand un Photomaton rencontre la réalité augmenté

Computer vision | OpenCV | Projection mapping

Le projet

Enter Black avait réalisé un projet appelé le Métamorpheur. Il s’agit d’un Photo Booth dans lequel un vidéo projecteur projette des filtres (type filtre Instagram) directement sur le visage des personnes. Flynx devait amener ce projet à sa V2 en ajoutant du tracking de visage afin que la projection suive le déplacement des personnes.

Le Métamorpheur d’Enter Black

Enter Black est un collectif artistique dédié au développement d’expériences immersives. Du projection mapping dans les musées à la production d’expériences audiovisuelles en passant par le VJING, Enter Black est une startup parisienne qui se démarque par l’innovation.

C’est dans cette quête d’innovation que Flynx a apporté son expérience.

Les enjeux techniques

Tracking du visage

Le tracking du visage se fait grâce à un algorithme basé sur du machine learning. Il nous permet d’obtenir 478 “landmark” faciaux. La difficulté dans le tracking résidait ici en deux points : L’obscurité due au Photomaton. L’image récupérée par la caméra est très sombre La détection lorsqu’un filtre est projeté sur le visage. La projection du filtre brouille fortement l’image de la caméra et l’analyse est plus compliqué. Afin de limiter ces risques, les deux premières semaines de développement ont été consacrées au benchmarking de différents algorithmes dans ces conditions d’environnement complexes.

Calibration caméra et projecteur

Pour transformer la position en pixel du visage vue par la caméra en une position de l’image projetée par le vidéoprojecteur il a fallu calibrer la caméra et le vidéo projecteur pour déterminer la translation et rotation entre ces deux.

Nous avons développé des outils permettant de faire ces différentes calibrations. Il s’agissait de la partie cruciale et la plus complexe du projet. Sans ces algorithmes, la projection n’aurait jamais été bien alignée sur le visage.

Système de contrôle

Pour contrôler le Metamorpheur, aussi bien pour sa configuration que pour changer de filtres, nous avons mis en place une interface web très simple, mais surtout une API REST complète permettant d’accéder aux moindres réglages. Enter Black pourra facilement intégrer cette API dans ses applications de contrôle..

En conclusion

Voici un projet qui fu très intéressant, un mélange d’algorithmes et de projection mapping, le type de projets que nous aimons beaucoup à Flynx. Vous pourrez retrouver ce projet dans des expositions sur Paris et notamment au 104 ! Si vous souhaitez en savoir plus sur ce genre de projets, n’hésitez pas à nous contacter et regarder les projets similaires sur le blog.

Voir tous les articles