Interfaces

Les capacités inattendues de la console Kinect

10/05/2011 par Antoine CHOTARD.
  • Diminuer la taille de la police
  • Agrandir la taille de la police
console Kinect pour Microsoft Xbox - photo DR

La console Kinect pour Microsoft Xbox offre des perspectives d’innovations considérables dans l’interaction homme machine pour le jeu vidéo, dont les développeurs se régalent. Ce module équipé d’une caméra et de capteurs infrarouges permet de détecter la structure de votre corps, et de reconnaître les mouvements effectués.

Retour, en plusieurs exemples, sur les potentialités insoupçonnées de ce périphérique de jeu.

A l’occasion de la conférence les Signaux numériques 2011 d'AEC, au théâtre du Pont Tournant le 1er mars , certains spectateurs ont pu transformer leur corps en véritable manette de jeu vidéo lors de la démonstration du Kinect pour Microsoft Xbox.

Comment ça marche ?

Pour capter vos mouvements et votre environnement, ce périphérique vous balaye d’infrarouges. Les cameras de l’appareil détectent les points de contact invisibles entre votre corps et le calculateur en déduit la position de vos membres.

Un potentiel colossal pour de nouvelles interfaces homme machine

A l’instar des manettes de la console Wii de Nintendo en son temps, Kinect offre aujourd’hui des perspectives d’innovations considérables dans l’interaction homme machine pour le jeu vidéo. Mais les potentiels des technologies de reconnaissance de mouvements, des objets, des couleurs voire de la voix et des sons ambiants sont infiniment plus vastes pour d’autres secteurs d’activités plus sérieux.

Les hackeurs et développeurs de génie s’en donnent à cœur joie pour détourner les fonctionnalités de Kinect et inventer des prototypes de nouveaux services de réalité virtuelle et augmentée. Basé sur des codes open source (OpenNI, permettant ainsi une distillation plus rapide des compétences de développement), cet engouement engendre le déploiement de nouvelles interfaces homme/services plus intuitives. Et pendant ce temps, Microsoft observe ce qu’il pourra peut-être un jour monétiser à grande échelle.
Nous vous conseillons de suivre les actualités du site KinectHacks et son actif rédacteur Igor Barinov .

Le florilège des exemples ci-dessous en est grandement inspiré.

1- JEU

Capture écran de la vidéo réalisée par le blogueur HogeHoge335 : déguisé en super héros via la réalité augmenté, il se perçoit à l'écran en train de lancer des boules de feu avec ses bras et ses jambes, la Kinect captant les mouvements de son corps.Le jeune développeur connu sous le pseudo hogehoge335 sur Youtube a réussi à réalisé des déguisements en réalité augmentée permettant de se sentir vraiment dans la peau de son superhéros favori. En captant les mouvements précis des mains ou de la position des jambes, il réussit à déclencher boules de feu et coups spéciaux, en surimpression de son corps et de la pièce dans laquelle il se trouve.

Au revoir l’avatar, bonjour le joueur augmenté ?

2- EDUCATION

Yankeyan entraîne un programme à reconnaître des objets et à accroître sa connaissance des objet s en les nommant.

En présentant un jouet en forme de vache et en lui indiquant qu’il s’agit d’une vache, le programme sera en mesure de réassocier l’objet au vocabulaire adéquat. Les applications potentielles sont l’apprentissage du vocabulaire aux jeunes enfants mais également l’assistance aux mal-voyants ou encore l’enseignement ludique des langues étrangères.

Il existe également des projets de reconnaissances du langage des signes : projet Copycat de l’université du College of computing de Georgie.

3- ARTS DU SPECTACLE

Plus poétique, l’utilisation de Kinect pour projeter en temps réel un double numérique de danseurs, clonés à l’infini ou accompagnés de particules numériques évoluant en corélation avec les mouvements. Le Projet Versus, développé et présenté à Salzburg, permet ainsi aux danseurs contemporains d’être accompagnés sur scène de leurs propres marionnettes numériques, malléables, répétant des mouvements, de fait re-mixables.

4- eCOMMERCE

L’essayage virtuel n’est pas nouveau grâce au webcam et aux premières applications de réalité augmenté mais à terme les périphériques de reconnaissance corporelles comme Kinect devraient pouvoir accompagner la vente par correspondance. Il sera par exemple possible d’essayer sur votre double numérique des modèles 3D de vêtements. La reconnaissance de mouvement vous permettra de tourner sur vous-même et de mieux appréhender le style et la taille du vêtement. Un vrai potentiel pour le commerce en ligne.

5- SANTE ET AUTONOMIE

Développé à l’attention des thérapeutes, le projet R.O.G .E.R conçu est un serious game (jeu sérieux) développé par Fishing Cactus en Belgique. Les thérapeutes pourront accompagner leurs patients atteints d’Halzeimer ou victime d’un AVC en les observant déambuler et réaliser des tâches simples dans un appartement virtuel (comme remplir une valise pour préparer un voyage).

La reconnaissance de mouvements reste pour ces patients une interface plus intuitive qu’un joystick.

6- MILITAIRE ou TOURISME ?

Parrainé par l’office de la recherche navale américaine et par l’armée, le MIT et l’Université de Washington ont associé un petit drone à hélice autonome (on en trouve aujourd’hui au rayon jeu vidéo de grande enseigne) et une Kinect afin de pouvoir créer très rapidement des cartographies 3D de grandes salles, de bâtiments ou de galeries souterraines . Ce type de binôme, pourrait être très utile à l’armée mais aussi aux musées, aux haut-lieux du patrimoine ou aux techniciens de Google en charge des contenus indoor de StreetView !


7- ROBOTIQUE

Capture écran de la vidéo : des chercheurs   du Worcester Polytechnics Institute prenant le contrôle de l’humanoïde NaoKinect est également utilisé pour contrôler à distance des robots humanoïdes. Imaginez votre enfant contrôler sa figurine préférée avec son propre corps ! Imaginez surtout le potentiel en robotique industriel, dans le bâtiment ou pour l’exploration lunaire. De multiples exemples existent sur le net, comme le montre la vidéo des chercheurs du Worcester Polytechnics Institute prenant le contrôle de l’humanoïde Nao.

 

8- IMPRESSION 3D

Photo prise sur les Ramblas à Barcelone. L’équipe barcelonaise du blablaLAB a réussit avec la Kinect à reproduire les touristes des Ramblas en statuette en 3D.L’équipe barcelonaise du blablaLAB a reproduit les touristes des Ramblas en statuette 3D : trois Kinect sous trois angles différents permettent de créér un scan complet à 360° du badaud dans une position semblable à celle des mimes immobiles de la célèbre avenue catalane. Le touriste repart avec une statuette de lui-même réalisée en quelques minutes sur une imprimante 3D. Evidemment, les modèles numériques créés pourraient ensuite être utilisés pour d’autres modes de valorisation de Barcelone (projection sur façade notamment).

Outre cet exemple touristique, la rapidité d’exécution du couple scanning et impression 3D intéresse avant tout l’industrie pour le prototypage rapide d’objets manufacturés (pièces automobiles ou de jouets).

9- PROJET URBAIN

Les Rennais de Bug proposent via Kinect de naviguer dans un modèle 3D de la Ville de Rennes. Ce projet était nominé au LAVAL VIRTUAL 2011. Outre le tourisme et de nouvelles manières de s’informer sur la ville, l’architecture et l’urbanisme qui nécessitent de manipuler et d’agencer des éléments de mobilier urbain ou des immeubles pourraient y entrevoir de nouvelles méthodes de travail.

Par ailleurs, à l’échelle des rues de la ville, la reconnaissance des formes et objets pourrait permettre de mesurer aisément le trafic et le type de véhicules (vélo, bus, camion) ou d’individus (passant, chien) circulant dans les rues. Un outil formidable mais seulement si les données sont anonymisées car cette technologie permettrait aisément d’identifier le genre d’une personne ou sa couleur de peau alors qu’elle se situe devant un panneau publicitaire équipé de cette technologie.

10- JEU

Steve Clayton confère une double vie aux objets avec son projet MirageBlocks : premièrement, il les manipule dans le réel pour scanner leurs formes et leur couleur. Deuxièmement, il fait travailler ensemble les objets réels et leurs doubles 3D projetés en relief pour décupler l’imagination et les formes à créer.

Avec lui les enfants ne joueront plus de la même façon aux Duplos !

11- NAVIGATION WEB

Rendre n’importe quelle surface tactile et multitouch, cela semble possible avec Kinect au regard du projet RobbeOfficial .

Dans le cadre d’une visio-conférence, le projet Privacy zone , permet de flouter l’environnement et les personnes derrière les interlocuteurs en proposant au logiciel de focaliser l’image sur l’individu. D’autres imaginent se masquer en obèses difformes , voire se rendre invisibles.

12- MARKETING

Les commerces pourront réinventer leur vitrine interactive en proposant une navigation non pas tactile mais basée sur le mouvement .

Mots clefs
3D - business-model - Culture et création - Economie numérique - économies-créatives - entreprises - innovation - jeu-vidéo - Médias - Monde - prospective - réalité-augmentée - robotique - Usages
ImprimerImprimer EnvoyerEnvoyer