S.A.R.A.H: Allier le geste à la parole

La version 1.8 de S.A.R.A.H. introduit une nouvelle fonctionnalité majeure ! La reconnaissance gestuelle !

[mom_video type= »youtube » id= »V70BY4E1Vm4″]

Une autre grammaire

Avant, il y avait les grammaires (.xml) de reconnaissance vocale.

Depuis la v1.8, il y a les grammaires (.gesture) de reconnaissance gestuelle. Cette nouvelle grammaire ne se recharge pas automatiquement.

L’algorithm s’inspire d’un article du blog de channel9

Quand le poignet droit se déplace de en dessous à au dessus de l’épaule droite alors la requête est envoyée.

En détail

Une gesture est composée de :

• 2 Jointures
• 1 condition de départ
• 1 condition d’arrivée

Les jointures possibles sont celles de Kinect:

• HipCenter
• Spine
• ShoulderCenter
• Head
• ShoulderLeft
• ElbowLeft
• WristLeft
• HandLeft
• ShoulderRight
• ElbowRight
• WristRight
• HandRight
• HipLeft
• KneeLeft
• AnkleLeft
• FootLeft
• HipRight
• KneeRight
• AnkleRight
• FootRight

Les conditions possibles sont:

• None
• Above
• Below
• LeftOf
• RightOf
• AboveAndRight
• BelowAndRight
• AboveAndLeft
• BelowAndLeft

Conclusion

Voici un début de framework « pour s’amuser ». Le Kinect me semble super réactif c’est assez impressionnant !

Dans l’avenir j’espère pouvoir améliorer l’algorithme afin de fournir plus de conditions, informations (axe Z), etc …