S.A.R.A.H: Allier le geste à la parole

La version 1.8 de S.A.R.A.H. introduit une nouvelle fonctionnalité majeure ! La reconnaissance gestuelle !

[mom_video type= »youtube » id= »V70BY4E1Vm4″]

Une autre grammaire

Avant, il y avait les grammaires (.xml) de reconnaissance vocale.

Depuis la v1.8, il y a les grammaires (.gesture) de reconnaissance gestuelle. Cette nouvelle grammaire ne se recharge pas automatiquement.

[crayon]








[/crayon]

L’algorithm s’inspire d’un article du blog de channel9

Quand le poignet droit se déplace de en dessous à au dessus de l’épaule droite alors la requête est envoyée.

En détail

Une gesture est composée de :

• 2 Jointures
• 1 condition de départ
• 1 condition d’arrivée

Les jointures possibles sont celles de Kinect:

• HipCenter
• Spine
• ShoulderCenter
• Head
• ShoulderLeft
• ElbowLeft
• WristLeft
• HandLeft
• ShoulderRight
• ElbowRight
• WristRight
• HandRight
• HipLeft
• KneeLeft
• AnkleLeft
• FootLeft
• HipRight
• KneeRight
• AnkleRight
• FootRight

Les conditions possibles sont:

• None
• Above
• Below
• LeftOf
• RightOf
• AboveAndRight
• BelowAndRight
• AboveAndLeft
• BelowAndLeft

Conclusion

Voici un début de framework « pour s’amuser ». Le Kinect me semble super réactif c’est assez impressionnant !

Dans l’avenir j’espère pouvoir améliorer l’algorithme afin de fournir plus de conditions, informations (axe Z), etc …