SARAH: Getting Started

Voici un premier screencast expliquant comment installer S.A.R.A.H.

[mom_video type= »youtube » id= »WHvw1ONyudQ »]

  1. Installer le framework .Net 4.5
  2. Télécharger et décompresser l’archive dans un chemin sans espace
  3. Lancer Client_Microphone et Server_NodeJS

Une maison apparaît dans la barre d’icônes en bas à droite.

Pour Kinect

  1. Télécharger et installer le dernier SDK et le pack de langue
  2. Lancer Client_Kinect_Audio et Server_NodeJS

Les Kinects « XBox360 » et « for Windows » sont compatibles. Le premier a un prix très inférieur, nécessite le câble USB Windows, et est à destination des « développeurs » (en théorie).

Reconnaissance Vocale

Pour améliorer la reconnaissance vocale

  • Utiliser un Kinect
  • Jouer 1 fois le wizard (windows)
  • Ajuster le gain du micro (windows)
  • Ne pas laisser tourner la reconnaissance windows

Synthèse Vocale

La synthèse vocale utilise les voix déclarées dans windows. En cas de problème il est possible de préciser la voix dans custom.ini. Voici un petit article sur les voix.

En cas d’erreur

  1. Ouvrir le fichier /bin/{date}.log
  2. Les logs sont visibles depuis sentinel (menu de la maison)

Dans 80% des cas ça parle de CultureInfo.

  • La reconnaissance vocale charge des grammaires XML en fr-FR
  • Le moteur utilise ces grammaires dans la langue de Windows
  • Avec un Kinect il faut installer le pack de langue correspondant aux grammaires.

SARAH utilise plusieurs ports qu’il faut autoriser:

Port Description Config
8080 Serveur NodeJS custom.prop, custom.ini
8888 Serveur WSRMacro custom.prop, custom.ini
7777 Serveur WebSocket custom.ini

Pour écouter ce qu’entend SARAH, créer un répertoire /dump et activer le mode debug (dans custom.ini). Et voici un petit comparatifs de micros pour comprendre ce qu’entends SARAH.

  1. bonjour, je viens de découvrir le système et je n’ai qu’une hâte, c’est de pouvoir m’en servir!

    Par contre j’ai un petit soucis, outre le fait que je n’arrive pas a avoir de confidence assez importante pour déclencher une réponse de SARAH ( bon je n’ai pas encore de kinect et mon micro est de piètre qualité…) j’ai régulièrement une fermeture inopiné du WSRMicro:

    Signature du problème :
    Nom d’événement de problème: CLR20r3
    Signature du problème 01: wsrmacro.exe
    Signature du problème 02: 0.0.0.0
    Signature du problème 03: 5191292b
    Signature du problème 04: WSRMacro_Kinect
    Signature du problème 05: 0.0.0.0
    Signature du problème 06: 5191292b
    Signature du problème 07: d0
    Signature du problème 08: 81
    Signature du problème 09: System.IO.FileNotFoundException
    Version du système: 6.1.7601.2.1.0.256.1
    Identificateur de paramètres régionaux: 1036
    Information supplémentaire n° 1: 0a9e
    Information supplémentaire n° 2: 0a9e372d3b4ad19135b953a78882e789
    Information supplémentaire n° 3: 0a9e
    Information supplémentaire n° 4: 0a9e372d3b4ad19135b953a78882e789

    Bizarrement, c’est que des qu’il se ferme, le taux de confidence etait bon:

    [2013:05:26 19:01:25] [ENGINE] RECOGNIZED Speech: 0,9174628/0,9334036 Device: Text: SARAH quelle heure est il
    [2013:05:26 19:01:25] [CONTEXT] Reset timeout

    Comme je suis plus que débutant …..

    Merci d’avance

    J’aime

  2. Salut,

    Je pense que tu dois avoir des voix (KobaSpeech ou autre) qui font planter l’application.

    Sinon vérifie aussi que tu as bien le Framework .Net 4.5

    Enfin, essaye de faire 1 apprentissage de la réco vocale windows, et pousse le niveau le plus haut possible

    J’aime

  3. Qu’entend tu par ne pas « ne pas laisser tourner » ?

    J’aime

  4. Il ne faut pas que le petit programme qui permet de piloter à la voix windows tourne en tâche de fond (un programme souvent placé en haut de l’écran pour dicter du texte).

    J’aime

  5. Bonjour JP,

    je suis en train de decrouvrir S.A.R.A.H et je rencontre quelques difficultés …

    J’ai reussi à le faire fonctionner une seule fois mais avec l’outil de reconnaissance vocal windows en mode veille, car si je n’ai pas le programme ouvert voici les erreur que j’obtiens :
    error: Caught exception: TypeError: Cannot read pr
    error: Caught exception: Error: listen EADDRINUSE

    Lorsque le programme est ouvert mais en veille j’obtiens par contre cette erreur :
    REJECTED Speech: 0,2864242 < 0,7 Device: Text: SARAH es tu la

    J'ai bien installé le FW .Net 4.5 avec ses mise a jours
    je n'utilise pas de kinect mais le micro d'une webcam (logitech)
    Mon firewall et les port sont ouvert
    et j'ai rajouté virginie comme voix

    Est-ce qu'il existe une doc sur les erreurs possibles/rencontré et le moyen de les corrigés ?

    Merci

    J’aime

  6. Salut,
    C’est la première fois que je vois cette erreur !

    A priori il ne faut pas laisser tourner la reco de windows, un utilisateur me disait que ca bloquait la qualité de reconnaissance.

    REJECTED Speech: 0,2864242 < 0,7 Device: Text: SARAH es tu la

    Cela indique que ta voix est reconnue à 0.28 et on veut au mois plus de 0.7. En gros ton micro ne retransmet pas bien le son

    Essaye de faire un coup d'apprentissage (pas plus de 1)
    Augmente le niveau (pptés du périphérique)

    J’aime

  7. Ok merci pour ta réponse, Effectivement je viens de recommencer la phase d’apprentissage dans de meilleurs conditions et S-A-R-A-H me repend bien. J’ai coupé également la reco windows, Merci Jp !

    J’aime

  8. Salut J.P.,

    Quand je lance node rien ne se passe…

    Loading core proprieties…
    Loading custom proprieties…
    Express server listening on port 8080

    Puis sa ne bouge plus.

    Une idée?

    Merci beaucoup

    J’aime

  9. @Sofian, euh bah c’est normal non ? Faut que tu double clic sur le raccourcis du navigateur pour aller sur http://127.0.0.1:8080 (le site web). Et bien évidemment il faut aussi lancer le client WSRMicro ou WSRKinect

    J’aime

  10. Je suppose que ce doux programme n’est pas pour les mac ?!

    J’aime

  11. @Geeky
    – La partie NodeJS necessite d’installer un NodeJS.
    – La partie C# nécessite d’installer un Windows. Plusieurs personnes de la communauté utilisent des VM sur Mac

    J’aime

  12. L’installation des voix sur windows 7 n’est pas chose aisée, windows 7 n’a pas nativement les voix francaises et l’installation des voix est compromise, les fichiers d’installation ne sont plus disponible sur le site de microsoft.

    J’aime

  13. @Greg dans l’article il y a un lien qui évoque le sujet des voix.

    Celle de NextUp sont pas mal mais payantes.

    Sinon pour « tester », dans l’installation il y a un dossier README avec une voix Française.

    J’aime

  14. Bonjour J-P,
    Merci pour ce formidable travail !

    Voici mon erreur issue du fichier log :

    [ENGINE – Default] System.IO.FileNotFoundException: Impossible de charger le fichier ou l’assembly ‘System.Web, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a’ ou une de ses dépendances. Le fichier spécifié est introuvable.
    Nom de fichier : ‘System.Web, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a’
    à net.encausse.sarah.WSRSpeechEngine.HandleWildcard(RecognitionResult rr, String url)
    à net.encausse.sarah.WSRSpeechEngine.SpeechRecognized(RecognitionResult rr)
    à net.encausse.sarah.WSRSpeechEngine.recognizer_SpeechRecognized(Object sender, SpeechRecognizedEventArgs e)

    Avez-vous une piste ?

    Par avance merci !

    J’aime

  15. Bonjour visiblement il n’arrive pas à charger la librairie lié au « web » pour faire une requête. Est ce que le framework .Net45 est bien installé ?

    J’aime

  16. Bonjour

    pour commencer je tiens a vous dire que votre projet est vraiment super je suis fan

    je rencontre en revanche un problème a l’installation
    quand je regarde la vidéo au moment ou vous faite un clic droit sur la petite maison il s’affiche Log2Console et Kinect en revanche chez moi je n ai que Log2Console d affiché
    j ai bien lancé WSRNode.cmd et WSRkinect.cmd mais c est pareil et j ai l impression que mon kinect reçois mal les infos je bloque un peut …

    merci en tous cas de votre travail enorme

    J’aime

  17. Par défaut la v2.9 ne fait que la reco vocale. Renomme le custom.cpu.ini en custom.ini (backup l’ancien) ce qui va activer toutes les fonctions de SARAH et donc l’icone Kinect

    J’aime

  18. un grand merci pour votre réponse aussi rapide

    quand je fait la manipulation des fichier ini j ai mon uc qui plafonne a 100% du coup ca rame sévère 😉
    j ai tous desinstallé/reinstallé et ça marche impeccable

    je rencontre un autre problème sur le contrôle vocal d xbmc avec ma raspberry
    a par play/stop sur de la music ( deja lancé ) je ne peut rien faire je ne comprend pas d’ou vient le souci …

    cordialement

    J’aime

  19. Bonjour, tout d’abord bravo, super travail, complet et excellent.
    Ensuite voila mon souci, j’ai installé le framework .Net 4.5, lancer WSRMicro et WSRNodeJS, et … rien ne se passe, comme si la commande vocal ne marchait pas.
    Je suis passé en mode DEBUG avec le rep /dump, il n’y a rien dedans, dans les log je n’ai rien, pourtant tout a l’air d’avoir fonctionné.
    J’ai testé le micro avec l’appli microphone, il est OK., j’ai testé la voix sous sapi.cpl c’est OK, bref je coince, merci d’avance pour votre aide.

    J’aime

    1. Idéalement tu devrais poser la question sur G+ quelqu’un a peut-être déjà eu le pb
      Une autre piste est le wiki pour éliminer les problèmes possibles

      J’aime

  20. Bonjour,
    J’éprouve quelques difficultés à utiliser la Kinect (for Xbox 360) (je suis sous Windows 8.1).
    J’ai bien installé le sdk (Kinect for Windows SDK 1.7 (March 2013)) et le pack de langue français, mais quand je tente de lancer Client_kinect.cmd il ne se passe strictement rien…
    Ça fait un moment que je bloque avec ça, peut être que cela viens de ma version de Windows mais je ne pense pas. Si quelqu’un à une piste je suis preneur ! SI j’ai mal exprimé mon problème, n’hésitez pas à demander des précisions 😉

    Merci d’avance, et en tout cas très beau travail ! (J’utilise SARAH en reconnaissance vocale depuis quelques mois maintenant, c’est vraiment ludique j’adore !).

    Nicolas FEREC

    J’aime

  21. bonjour

    ne disposant pas d’installation Kinect, je souhaite faire un test basic avec le micro d mon pc sous win 7

    sa ne fonction pas

    J’aime

    1. Normalment ça ne devrait pas poser de problème tu es dans la configuration la plus simple. Quelques pistes: https://github.com/JpEncausse/SARAH-Documentation/wiki/Installation

      J’aime

  22. bonjour

    je viens refaire une installation sur la racine du c:

    installation ce passe bien
    1- Server_NodeJS.cmd ( la fenêtre DOS s’ouvre)
    2- Client_Microphone.cmd ( la maison s’affiche)

    3- je lance la reconnaissance vocal sous win 7

    et rien ne ce passe, quand je double clique sur la maison j’ai le fichier time.xml du fichier c:sarah/macro qui s’ouvre

    concernant le http://127.0.0.1:8080/ il s’ouvre bien

    sur l’écran il y a : Aucun dispositif favoris défini … (Ou communication perdu!)
    quand je clique sur matériel il trouve l’adresse de ma box FIBARO.

    avant d’aller plus je souhaite luis demander l’heure a sarah

    J’aime

  23. Le 3. n’est pas nécessaire voir risque de provoquer un conflit, il suffit de faire 1 et 2 puis dire « SARAH il est quelle heure ? »

    Après pour fouiller plus en profondeur, regarder les logs du client dans le répertoire /bin

    J’aime

    1. Ok quand je clique droit sur la maison pour lancer log2Cinsole il m fiche un message erreur

      Failed to initialise receviez message Queuing n a pas été instaler

      J’aime

  24. Ok c’est étrange, mais bon les log sont dans /bin mais c’est étrange, le mieux est de venir en discuter sur Google+ voir si des gens ont rencontré ton pb
    https://plus.google.com/u/0/communities/105964514508504667709

    J’aime

  25. bonjour, voici un messwage d erreur lorsque je lance le serveur.
    9:22] [CATCH_ALL] System.TypeLoadException: Impossible de charger le type ‘System.Runtime.CompilerServices.ExtensionAttribute’ à partir de l’assembly ‘mscorlib, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089’.
    à System.ModuleHandle.ResolveMethod(RuntimeModule module, Int32 methodToken, IntPtr* typeInstArgs, Int32 typeInstCount, IntPtr* methodInstArgs, Int32 methodInstCount)
    à System.ModuleHandle.ResolveMethodHandleInternalCore(RuntimeModule module, Int32 methodToken, IntPtr[] typeInstantiationContext, Int32 typeInstCount, IntPtr[] methodInstantiationContext, Int32 methodInstCount)
    à System.ModuleHandle.ResolveMethodHandleInternal(RuntimeModule module, Int32 methodToken, RuntimeTypeHandle[] typeInstantiationContext, RuntimeTypeHandle[] methodInstantiationContext

    Merci d avance et bravo pour ce beau projet.
    gwenta79

    J’aime

    1. Une erreur C# vérifie que tu as bien installé .Net45 sinon d’autres pistes: https://github.com/JpEncausse/SARAH-Documentation/wiki/Installation#wiki-troubleshooting

      J’aime

  26. merci je vai essayer ca

    J’aime

  27. merci jp ca marche nickel maintenant

    J’aime

  28. moi je parle sa bouge dans la commande mais sa ne repon pas

    J’aime

  29. Bonjour
    Je suis arriver à installer Sarah elle me répond dans mes requêtes, mais quand je lui demande la reconnaissance faciale elle me dis quel ouvre mais rien ne ce passe pas d ouverture de programme pluing installer et je n’ai et pas d image avec la Kinect, et pur la météo comment changer la ville il n y a rien pour modifier sur l icône meteo
    Merci

    J’aime

    1. Pour la reconnaissance faciale, il faut lancer l’IHM (maison dans la barre de tache) mettre un nom et cliquer sur entrainer ensuite cette information sera envoyé aux plugins côté serveur

      Pour la météo il faut modifier le XML du plugin. Je crois qu’il y a plusieurs plugin Meteo pour gérer l’international (enfin faut bidouiller)

      J’aime

  30. Bonjour,
    chez moi je ne trouve pas les 2 fichiers :

    WSRNode.bt qui va lancer le serveur S.A.R.A.H.
    WSRMicro.bat (ou WSRKinect) pour faire l’acquisition orale.
    

    Cordialement,

    J’aime

  31. Bonjour j’ai un probleme car quand je demande l’heure a SARAH par exemple elle me repond en Anglais alors que dans la config la langue est reglee sur francais. Que faire ?

    J’aime

  32. Comment on fait pour télécharger le zip et le déziper mais surtout comment on fait pour le télécharger SVP

    J’aime

    1. Euh … quand on clic sur le menu « SARAH » de ce site une page s’affiche avec un bouton télécharger ?

      J’aime

  33. bonjour , j’ai l’impression que sarah ne m’entend pas , alors que ma kinect est bien détecter par mon ordinateur , comment faire ?

    J’aime

  34. Bonjour,

    Je ne sais pas si ce post est toujours suivi mais j’essaie quand même 🙂 j’ai suivi tout ce qui est indiqué mais ma kinect n’est pas détecté par Windows (Aucun périphérique d’enregistrement de détecté ») J’ai même essayé en la branchant sur un un HUB USB branché en externe. L voyant de la Kinect V1 clignote en vert continuellement.

    Merci par avance.

    J’aime

    1. Si c’est un Kinect XBox 360 il faut un adaptateur en plus qui la reliera au secteur (l’USB seul ne suffit pas)

      J’aime

  35. bonjour quand j’essaie de télécharger S.A.R.A.H ça me le télécharge mais au bout d’un moment paf ça me met echec réseau et quand j’essaie de reprendre l’installation ça me met echec interdit

    aidez moi svp

    J’aime

  36. Bonjour, je n’arrive plus a acceder au store de SARAH pour installer les plugins.

    J’aime

  37. Bonjour, je n’arrive pas acceder au marketplace pour telecharger les plugins.
    pouvez vous m’aider?

    J’aime

  38. http://jpencausse.github.io/SARAH-Documentation/?page=Marketplace

    je ne peut pas acceder au lien pour telecharger les plugins.

    J’aime

Répondre à cinetryx Annuler la réponse.