Les développeurs peuvent désormais intégrer la fonctionnalité d’accessibilité dans leurs applications, permettant aux utilisateurs de contrôler le curseur avec des gestes du visage ou en bougeant la tête. Par exemple, ils peuvent ouvrir la bouche pour déplacer le curseur ou lever les sourcils pour cliquer et faire glisser.
Annoncé lors du Google I/O pour ordinateur de l’année dernière, le projet Gameface utilise l’appareil photo de l’appareil et une base de données d’expressions faciales de l’API de détection des repères de visage de MediaPipe pour manipuler le curseur.
“Grâce à la caméra de l’appareil, il suit de manière transparente les expressions faciales et les mouvements de la tête, les traduisant en un contrôle intuitif et personnalisé”, a expliqué Google dans son annonce. « Les développeurs peuvent désormais créer des applications dans lesquelles leurs utilisateurs peuvent configurer leur expérience en personnalisant les expressions faciales, la taille des gestes, la vitesse du curseur, etc. »
Alors que Gameface a été initialement conçu pour les joueurs, Google affirme s’être également associé à Incluzza – une entreprise sociale indienne axée sur l’accessibilité – pour voir comment ils peuvent l’étendre à d’autres contextes comme le travail, l’école et les situations sociales.
Project Gameface a été inspiré par le streamer de jeux vidéo tétraplégique Lance Carr, atteint de dystrophie musculaire. Carr a collaboré avec Google sur le projet, dans le but de créer une alternative plus abordable et plus accessible aux systèmes de suivi de tête coûteux.