S.A.R.A.H: Allier le geste à la parole
La version 1.8 de S.A.R.A.H. introduit une nouvelle fonctionnalité majeure ! La reconnaissance gestuelle !
[mom_video type= »youtube » id= »V70BY4E1Vm4″]
Une autre grammaire
Avant, il y avait les grammaires (.xml) de reconnaissance vocale.
Depuis la v1.8, il y a les grammaires (.gesture) de reconnaissance gestuelle. Cette nouvelle grammaire ne se recharge pas automatiquement.
|
1 2 3 4 5 6 7 8 |
<gestures gestureResetTimeout="500"> <gesture description="SwitchOn Lamp" maxExecutionTime="1000" url="http://127.0.0.1:8080/sarah/eedomus?periphId=12350&amp;periphValue=100"> <component firstJoint="WristRight" secondJoint="ShoulderRight" beginningRelationship="BelowAndRight" endingRelationship="AboveAndRight" /> </gesture> <gesture description="SwitchOff Lamp" maxExecutionTime="1000" url="http://127.0.0.1:8080/sarah/eedomus?periphId=12350&amp;periphValue=0"> <component firstJoint="WristRight" secondJoint="ShoulderRight" beginningRelationship="AboveAndRight" endingRelationship="BelowAndRight" /> </gesture> </gestures> |
L’algorithm s’inspire d’un article du blog de channel9
Quand le poignet droit se déplace de en dessous à au dessus de l’épaule droite alors la requête est envoyée.
En détail
Une gesture est composée de :
- 2 Jointures
- 1 condition de départ
- 1 condition d’arrivée
Les jointures possibles sont celles de Kinect:
- HipCenter
- Spine
- ShoulderCenter
- Head
- ShoulderLeft
- ElbowLeft
- WristLeft
- HandLeft
- ShoulderRight
- ElbowRight
- WristRight
- HandRight
- HipLeft
- KneeLeft
- AnkleLeft
- FootLeft
- HipRight
- KneeRight
- AnkleRight
- FootRight
Les conditions possibles sont:
- None
- Above
- Below
- LeftOf
- RightOf
- AboveAndRight
- BelowAndRight
- AboveAndLeft
- BelowAndLeft
Conclusion
Voici un début de framework « pour s’amuser ». Le Kinect me semble super réactif c’est assez impressionnant !
Dans l’avenir j’espère pouvoir améliorer l’algorithme afin de fournir plus de conditions, informations (axe Z), etc …
tu es un fou j’adore ..
Trop la classe d’avoir la météo de demain en se grattant le genou 😉
Ping : Maison connectée : 6 articles à lire ou à relire sur le blog Myfox – Myfox Blog