SARAH: Getting Started
Voici un premier screencast expliquant comment installer S.A.R.A.H.
[mom_video type= »youtube » id= »WHvw1ONyudQ »]
- Installer le framework .Net 4.5
- Télécharger et décompresser l’archive dans un chemin sans espace
- Lancer
Client_MicrophoneetServer_NodeJS
Une maison apparaît dans la barre d’icônes en bas à droite.
Pour Kinect
- Télécharger et installer le dernier SDK et le pack de langue
- Lancer
Client_Kinect_AudioetServer_NodeJS
Les Kinects « XBox360 » et « for Windows » sont compatibles. Le premier a un prix très inférieur, nécessite le câble USB Windows, et est à destination des « développeurs » (en théorie).
Reconnaissance Vocale
Pour améliorer la reconnaissance vocale
- Utiliser un Kinect
- Jouer 1 fois le wizard (windows)
- Ajuster le gain du micro (windows)
- Ne pas laisser tourner la reconnaissance windows
Synthèse Vocale
La synthèse vocale utilise les voix déclarées dans windows. En cas de problème il est possible de préciser la voix dans custom.ini. Voici un petit article sur les voix.
En cas d’erreur
- Ouvrir le fichier
/bin/{date}.log - Les logs sont visibles depuis sentinel (menu de la maison)
Dans 80% des cas ça parle de CultureInfo.
- La reconnaissance vocale charge des grammaires XML en
fr-FR - Le moteur utilise ces grammaires dans la langue de Windows
- Avec un Kinect il faut installer le pack de langue correspondant aux grammaires.
SARAH utilise plusieurs ports qu’il faut autoriser:
| Port | Description | Config |
|---|---|---|
| 8080 | Serveur NodeJS | custom.prop, custom.ini |
| 8888 | Serveur WSRMacro | custom.prop, custom.ini |
| 7777 | Serveur WebSocket | custom.ini |
Pour écouter ce qu’entend SARAH, créer un répertoire /dump et activer le mode debug (dans custom.ini). Et voici un petit comparatifs de micros pour comprendre ce qu’entends SARAH.
bonjour, je viens de découvrir le système et je n’ai qu’une hâte, c’est de pouvoir m’en servir!
Par contre j’ai un petit soucis, outre le fait que je n’arrive pas a avoir de confidence assez importante pour déclencher une réponse de SARAH ( bon je n’ai pas encore de kinect et mon micro est de piètre qualité…) j’ai régulièrement une fermeture inopiné du WSRMicro:
Signature du problème :
Nom d’événement de problème: CLR20r3
Signature du problème 01: wsrmacro.exe
Signature du problème 02: 0.0.0.0
Signature du problème 03: 5191292b
Signature du problème 04: WSRMacro_Kinect
Signature du problème 05: 0.0.0.0
Signature du problème 06: 5191292b
Signature du problème 07: d0
Signature du problème 08: 81
Signature du problème 09: System.IO.FileNotFoundException
Version du système: 6.1.7601.2.1.0.256.1
Identificateur de paramètres régionaux: 1036
Information supplémentaire n° 1: 0a9e
Information supplémentaire n° 2: 0a9e372d3b4ad19135b953a78882e789
Information supplémentaire n° 3: 0a9e
Information supplémentaire n° 4: 0a9e372d3b4ad19135b953a78882e789
Bizarrement, c’est que des qu’il se ferme, le taux de confidence etait bon:
[2013:05:26 19:01:25] [ENGINE] RECOGNIZED Speech: 0,9174628/0,9334036 Device: Text: SARAH quelle heure est il
[2013:05:26 19:01:25] [CONTEXT] Reset timeout
Comme je suis plus que débutant …..
Merci d’avance
Salut,
Je pense que tu dois avoir des voix (KobaSpeech ou autre) qui font planter l’application.
Sinon vérifie aussi que tu as bien le Framework .Net 4.5
Enfin, essaye de faire 1 apprentissage de la réco vocale windows, et pousse le niveau le plus haut possible
Qu’entend tu par ne pas « ne pas laisser tourner » ?
Il ne faut pas que le petit programme qui permet de piloter à la voix windows tourne en tâche de fond (un programme souvent placé en haut de l’écran pour dicter du texte).
Bonjour JP,
je suis en train de decrouvrir S.A.R.A.H et je rencontre quelques difficultés …
J’ai reussi à le faire fonctionner une seule fois mais avec l’outil de reconnaissance vocal windows en mode veille, car si je n’ai pas le programme ouvert voici les erreur que j’obtiens :
error: Caught exception: TypeError: Cannot read pr
error: Caught exception: Error: listen EADDRINUSE
Lorsque le programme est ouvert mais en veille j’obtiens par contre cette erreur :
REJECTED Speech: 0,2864242 < 0,7 Device: Text: SARAH es tu la
J'ai bien installé le FW .Net 4.5 avec ses mise a jours
je n'utilise pas de kinect mais le micro d'une webcam (logitech)
Mon firewall et les port sont ouvert
et j'ai rajouté virginie comme voix
Est-ce qu'il existe une doc sur les erreurs possibles/rencontré et le moyen de les corrigés ?
Merci
Salut,
C’est la première fois que je vois cette erreur !
A priori il ne faut pas laisser tourner la reco de windows, un utilisateur me disait que ca bloquait la qualité de reconnaissance.
REJECTED Speech: 0,2864242 < 0,7 Device: Text: SARAH es tu la
Cela indique que ta voix est reconnue à 0.28 et on veut au mois plus de 0.7. En gros ton micro ne retransmet pas bien le son
– Essaye de faire un coup d'apprentissage (pas plus de 1)
– Augmente le niveau (pptés du périphérique)
Ok merci pour ta réponse, Effectivement je viens de recommencer la phase d’apprentissage dans de meilleurs conditions et S-A-R-A-H me repend bien. J’ai coupé également la reco windows, Merci Jp !
Salut J.P.,
Quand je lance node rien ne se passe…
Loading core proprieties…
Loading custom proprieties…
Express server listening on port 8080
Puis sa ne bouge plus.
Une idée?
Merci beaucoup
@Sofian, euh bah c’est normal non ? Faut que tu double clic sur le raccourcis du navigateur pour aller sur http://127.0.0.1:8080 (le site web). Et bien évidemment il faut aussi lancer le client WSRMicro ou WSRKinect
Je suppose que ce doux programme n’est pas pour les mac ?!
@Geeky
– La partie NodeJS necessite d’installer un NodeJS.
– La partie C# nécessite d’installer un Windows. Plusieurs personnes de la communauté utilisent des VM sur Mac
L’installation des voix sur windows 7 n’est pas chose aisée, windows 7 n’a pas nativement les voix francaises et l’installation des voix est compromise, les fichiers d’installation ne sont plus disponible sur le site de microsoft.
@Greg dans l’article il y a un lien qui évoque le sujet des voix.
Celle de NextUp sont pas mal mais payantes.
Sinon pour « tester », dans l’installation il y a un dossier README avec une voix Française.
Bonjour J-P,
Merci pour ce formidable travail !
Voici mon erreur issue du fichier log :
[ENGINE – Default] System.IO.FileNotFoundException: Impossible de charger le fichier ou l’assembly ‘System.Web, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a’ ou une de ses dépendances. Le fichier spécifié est introuvable.
Nom de fichier : ‘System.Web, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a’
à net.encausse.sarah.WSRSpeechEngine.HandleWildcard(RecognitionResult rr, String url)
à net.encausse.sarah.WSRSpeechEngine.SpeechRecognized(RecognitionResult rr)
à net.encausse.sarah.WSRSpeechEngine.recognizer_SpeechRecognized(Object sender, SpeechRecognizedEventArgs e)
Avez-vous une piste ?
Par avance merci !
Bonjour visiblement il n’arrive pas à charger la librairie lié au « web » pour faire une requête. Est ce que le framework .Net45 est bien installé ?
Bonjour
pour commencer je tiens a vous dire que votre projet est vraiment super je suis fan
je rencontre en revanche un problème a l’installation
quand je regarde la vidéo au moment ou vous faite un clic droit sur la petite maison il s’affiche Log2Console et Kinect en revanche chez moi je n ai que Log2Console d affiché
j ai bien lancé WSRNode.cmd et WSRkinect.cmd mais c est pareil et j ai l impression que mon kinect reçois mal les infos je bloque un peut …
merci en tous cas de votre travail enorme
Par défaut la v2.9 ne fait que la reco vocale. Renomme le custom.cpu.ini en custom.ini (backup l’ancien) ce qui va activer toutes les fonctions de SARAH et donc l’icone Kinect
un grand merci pour votre réponse aussi rapide
quand je fait la manipulation des fichier ini j ai mon uc qui plafonne a 100% du coup ca rame sévère 😉
j ai tous desinstallé/reinstallé et ça marche impeccable
je rencontre un autre problème sur le contrôle vocal d xbmc avec ma raspberry
a par play/stop sur de la music ( deja lancé ) je ne peut rien faire je ne comprend pas d’ou vient le souci …
cordialement
Bonjour, tout d’abord bravo, super travail, complet et excellent.
Ensuite voila mon souci, j’ai installé le framework .Net 4.5, lancer WSRMicro et WSRNodeJS, et … rien ne se passe, comme si la commande vocal ne marchait pas.
Je suis passé en mode DEBUG avec le rep /dump, il n’y a rien dedans, dans les log je n’ai rien, pourtant tout a l’air d’avoir fonctionné.
J’ai testé le micro avec l’appli microphone, il est OK., j’ai testé la voix sous sapi.cpl c’est OK, bref je coince, merci d’avance pour votre aide.
Idéalement tu devrais poser la question sur G+ quelqu’un a peut-être déjà eu le pb
Une autre piste est le wiki pour éliminer les problèmes possibles
Bonjour,
J’éprouve quelques difficultés à utiliser la Kinect (for Xbox 360) (je suis sous Windows 8.1).
J’ai bien installé le sdk (Kinect for Windows SDK 1.7 (March 2013)) et le pack de langue français, mais quand je tente de lancer Client_kinect.cmd il ne se passe strictement rien…
Ça fait un moment que je bloque avec ça, peut être que cela viens de ma version de Windows mais je ne pense pas. Si quelqu’un à une piste je suis preneur ! SI j’ai mal exprimé mon problème, n’hésitez pas à demander des précisions 😉
Merci d’avance, et en tout cas très beau travail ! (J’utilise SARAH en reconnaissance vocale depuis quelques mois maintenant, c’est vraiment ludique j’adore !).
Nicolas FEREC
Ah en fait il faut que tu installe la dernière version du SDK: 1.8
https://github.com/JpEncausse/SARAH-Documentation/wiki/Installation
http://go.microsoft.com/fwlink/?LinkID=323588
bonjour
ne disposant pas d’installation Kinect, je souhaite faire un test basic avec le micro d mon pc sous win 7
sa ne fonction pas
Normalment ça ne devrait pas poser de problème tu es dans la configuration la plus simple. Quelques pistes: https://github.com/JpEncausse/SARAH-Documentation/wiki/Installation
bonjour
je viens refaire une installation sur la racine du c:
installation ce passe bien
1- Server_NodeJS.cmd ( la fenêtre DOS s’ouvre)
2- Client_Microphone.cmd ( la maison s’affiche)
3- je lance la reconnaissance vocal sous win 7
et rien ne ce passe, quand je double clique sur la maison j’ai le fichier time.xml du fichier c:sarah/macro qui s’ouvre
concernant le http://127.0.0.1:8080/ il s’ouvre bien
sur l’écran il y a : Aucun dispositif favoris défini … (Ou communication perdu!)
quand je clique sur matériel il trouve l’adresse de ma box FIBARO.
avant d’aller plus je souhaite luis demander l’heure a sarah
Le 3. n’est pas nécessaire voir risque de provoquer un conflit, il suffit de faire 1 et 2 puis dire « SARAH il est quelle heure ? »
Après pour fouiller plus en profondeur, regarder les logs du client dans le répertoire /bin
Ok quand je clique droit sur la maison pour lancer log2Cinsole il m fiche un message erreur
Failed to initialise receviez message Queuing n a pas été instaler
Ok c’est étrange, mais bon les log sont dans /bin mais c’est étrange, le mieux est de venir en discuter sur Google+ voir si des gens ont rencontré ton pb
https://plus.google.com/u/0/communities/105964514508504667709
bonjour, voici un messwage d erreur lorsque je lance le serveur.
9:22] [CATCH_ALL] System.TypeLoadException: Impossible de charger le type ‘System.Runtime.CompilerServices.ExtensionAttribute’ à partir de l’assembly ‘mscorlib, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089’.
à System.ModuleHandle.ResolveMethod(RuntimeModule module, Int32 methodToken, IntPtr* typeInstArgs, Int32 typeInstCount, IntPtr* methodInstArgs, Int32 methodInstCount)
à System.ModuleHandle.ResolveMethodHandleInternalCore(RuntimeModule module, Int32 methodToken, IntPtr[] typeInstantiationContext, Int32 typeInstCount, IntPtr[] methodInstantiationContext, Int32 methodInstCount)
à System.ModuleHandle.ResolveMethodHandleInternal(RuntimeModule module, Int32 methodToken, RuntimeTypeHandle[] typeInstantiationContext, RuntimeTypeHandle[] methodInstantiationContext
Merci d avance et bravo pour ce beau projet.
gwenta79
Une erreur C# vérifie que tu as bien installé .Net45 sinon d’autres pistes: https://github.com/JpEncausse/SARAH-Documentation/wiki/Installation#wiki-troubleshooting
merci je vai essayer ca
merci jp ca marche nickel maintenant
moi je parle sa bouge dans la commande mais sa ne repon pas
Bonjour
Je suis arriver à installer Sarah elle me répond dans mes requêtes, mais quand je lui demande la reconnaissance faciale elle me dis quel ouvre mais rien ne ce passe pas d ouverture de programme pluing installer et je n’ai et pas d image avec la Kinect, et pur la météo comment changer la ville il n y a rien pour modifier sur l icône meteo
Merci
Pour la reconnaissance faciale, il faut lancer l’IHM (maison dans la barre de tache) mettre un nom et cliquer sur entrainer ensuite cette information sera envoyé aux plugins côté serveur
Pour la météo il faut modifier le XML du plugin. Je crois qu’il y a plusieurs plugin Meteo pour gérer l’international (enfin faut bidouiller)
Bonjour,
chez moi je ne trouve pas les 2 fichiers :
WSRNode.bt qui va lancer le serveur S.A.R.A.H.
WSRMicro.bat (ou WSRKinect) pour faire l’acquisition orale.
Cordialement,
Bonjour j’ai un probleme car quand je demande l’heure a SARAH par exemple elle me repond en Anglais alors que dans la config la langue est reglee sur francais. Que faire ?
Vérifie que t uas bien configuré la voix: http://wiki.sarah.encausse.net
Comment on fait pour télécharger le zip et le déziper mais surtout comment on fait pour le télécharger SVP
Euh … quand on clic sur le menu « SARAH » de ce site une page s’affiche avec un bouton télécharger ?
bonjour , j’ai l’impression que sarah ne m’entend pas , alors que ma kinect est bien détecter par mon ordinateur , comment faire ?
Bonjour,
Je ne sais pas si ce post est toujours suivi mais j’essaie quand même 🙂 j’ai suivi tout ce qui est indiqué mais ma kinect n’est pas détecté par Windows (Aucun périphérique d’enregistrement de détecté ») J’ai même essayé en la branchant sur un un HUB USB branché en externe. L voyant de la Kinect V1 clignote en vert continuellement.
Merci par avance.
Si c’est un Kinect XBox 360 il faut un adaptateur en plus qui la reliera au secteur (l’USB seul ne suffit pas)