S.A.R.A.H: Allier le geste à la parole

La version 1.8 de S.A.R.A.H. introduit une nouvelle fonctionnalité majeure ! La reconnaissance gestuelle !

 

[mom_video type= »youtube » id= »V70BY4E1Vm4″]

Une autre grammaire

Avant, il y avait les grammaires (.xml) de reconnaissance vocale.

Depuis la v1.8, il y a les grammaires (.gesture) de reconnaissance gestuelle. Cette nouvelle grammaire ne se recharge pas automatiquement.

[crayon]








[/crayon]

L’algorithm s’inspire d’un article du blog de channel9

Quand le poignet droit se déplace de en dessous à au dessus de l’épaule droite alors la requête est envoyée.

En détail

Une gesture est composée de :

  • 2 Jointures
  • 1 condition de départ
  • 1 condition d’arrivée

Les jointures possibles sont celles de Kinect:

skeleton

  • HipCenter
  • Spine
  • ShoulderCenter
  • Head
  • ShoulderLeft
  • ElbowLeft
  • WristLeft
  • HandLeft
  • ShoulderRight
  • ElbowRight
  • WristRight
  • HandRight
  • HipLeft
  • KneeLeft
  • AnkleLeft
  • FootLeft
  • HipRight
  • KneeRight
  • AnkleRight
  • FootRight

Les conditions possibles sont:

  • None
  • Above
  • Below
  • LeftOf
  • RightOf
  • AboveAndRight
  • BelowAndRight
  • AboveAndLeft
  • BelowAndLeft

Conclusion

Voici un début de framework « pour s’amuser ». Le Kinect me semble super réactif c’est assez impressionnant !

Dans l’avenir j’espère pouvoir améliorer l’algorithme afin de fournir plus de conditions, informations (axe Z), etc …

 

3 pensées sur “S.A.R.A.H: Allier le geste à la parole

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.