Mini-jeux

R&D : Mini Jeux avec Kinect Azure & Projection

Computer vision | OpenCV | Projection mapping

Personne n’y aura échappé, la pandémie nous a forcé à repenser certaines choses dans notre compagnie. Pour notre part, nous avons vu l’utilisation des casques de VR pour de l’événementiel semblait de plus en plus compromis. J’ai donc commencé à explorer d’autres voies où les contacts avec du matériel seraient moindre. Dans ce projet de R&D, les casques de VR ont été remplacé par de la vidéo projection ainsi que des caméras de profondeur pour les interactions. L’objectif étant de tester des mécaniques de mini jeux de 1 à 2 minutes sur lesquels on peut faire passer rapidement un grand nombre de joueurs en compétition, avec des animations très visuelles pour les événements sur des salons, du team building, de l’animation. La première étape a été de créer un Framework permettant de rapidement développer des mini jeux utilisant ces technologies. Grâce à ce framework, adapter de nouvelles mécaniques, ou mettre un thème customisé à un événement ne prend que 2 à 4 semaines. A partir de ce framework, voici les deux premiers jeux que j’ai développé :

Shoot the Chook : Des poulets ont envahit le village. Le joueur doit en éliminer le plus possible en un temps imparti en leur tirant dessus avec une balle en mousse.

Fusion : Deux joueurs s’affrontent dans une ambiance Cyber Punk sur un “endless runner”. En bougeant leur corps ils contrôlent une barre latéral qui leur permet de collecter des items pour gagner des points. Ils doivent aussi en éviter certains qui leur feront perdre des points.

Les scores

Pour donner un challenge aux joueurs, rien de tels que les scores. On crée la compétition, chaacun essaie d’atteindre le Leaderboard, recherche la meilleure place dans le classement. Le Leaderboard est affiché entre chaque partie et le score est mis à jour durant la partie, laissant savoir au joueur où il en est.

Tracking et Calibration

Le premier jeu utilise une balle lancée sur le mur pour intéragir avec le jeu. Nous utilisons une caméra de profondeur et de couleur, la Kinect Azure pour détecter la balle. Calibrer la Kinect au projecteur est la plus grande difficulté. Il s’agit de plusieurs opérations de changement d’espace pour passer de l’espace de la caméra de profondeur à celui de la caméra couleur puis à celui du projecteur. Le SDK de la Kinect fournit déjà les matrices de changement d’espace entre la caméra couleur et celle de profondeur. Il ne reste plus que la calibration du projecteur. Pour résoudre ce problème, au démarrage du jeu un échiquier avec des marqueurs Charuco est projeté en plein écran. La caméra couleur de la Kinect voit cet échiquier et détecte la position des marqueurs.

Azure-Kinect-DK-Depth-Camera-Smart-Stereo-Camera-Development-Kit

A partir de la nous utilisons OpenCV pour calculer la matrice de transformation d’espace en utilisant des correspondance de points 3D – 2D (solveur PNP). Finalement les matrices calculées permettent de transformer les positions 3D de la balle relatives à la caméra de profondeur en des positions relative à l’écran en pixel. On obtient ainsi une calibration totalement automatique, peut importe le placement de la Kinect au projecteur, tant que la Kinect voit une partie de l’image projetée.

Voilà qui fait le tour de nos dernières expérimentations ! Si vous êtes intéressés par ce genre de projet ou d’animations, ils sont d’hors et déjà prêt à être utilisé et nous pouvons les customiser à votre goût, votre marque ou même modifier les interactions et méthodes de projection.

Voir tous les articles