SARAH: Getting Started

Voici un premier screencast expliquant comment installer S.A.R.A.H.

[mom_video type= »youtube » id= »WHvw1ONyudQ »]

  1. Installer le framework .Net 4.5
  2. Télécharger et décompresser l’archive dans un chemin sans espace
  3. Lancer Client_Microphone et Server_NodeJS

Une maison apparaît dans la barre d’icônes en bas à droite.

Pour Kinect

  1. Télécharger et installer le dernier SDK et le pack de langue
  2. Lancer Client_Kinect_Audio et Server_NodeJS

Les Kinects « XBox360 » et « for Windows » sont compatibles. Le premier a un prix très inférieur, nécessite le câble USB Windows, et est à destination des « développeurs » (en théorie).

Reconnaissance Vocale

Pour améliorer la reconnaissance vocale

  • Utiliser un Kinect
  • Jouer 1 fois le wizard (windows)
  • Ajuster le gain du micro (windows)
  • Ne pas laisser tourner la reconnaissance windows

Synthèse Vocale

La synthèse vocale utilise les voix déclarées dans windows. En cas de problème il est possible de préciser la voix dans custom.ini. Voici un petit article sur les voix.

En cas d’erreur

  1. Ouvrir le fichier /bin/{date}.log
  2. Les logs sont visibles depuis sentinel (menu de la maison)

Dans 80% des cas ça parle de CultureInfo.

  • La reconnaissance vocale charge des grammaires XML en fr-FR
  • Le moteur utilise ces grammaires dans la langue de Windows
  • Avec un Kinect il faut installer le pack de langue correspondant aux grammaires.

SARAH utilise plusieurs ports qu’il faut autoriser:

Port Description Config
8080 Serveur NodeJS custom.prop, custom.ini
8888 Serveur WSRMacro custom.prop, custom.ini
7777 Serveur WebSocket custom.ini

Pour écouter ce qu’entend SARAH, créer un répertoire /dump et activer le mode debug (dans custom.ini). Et voici un petit comparatifs de micros pour comprendre ce qu’entends SARAH.

43 pensées sur “SARAH: Getting Started

  • 26 mai 2013 à 19 h 10 min
    Permalink

    bonjour, je viens de découvrir le système et je n’ai qu’une hâte, c’est de pouvoir m’en servir!

    Par contre j’ai un petit soucis, outre le fait que je n’arrive pas a avoir de confidence assez importante pour déclencher une réponse de SARAH ( bon je n’ai pas encore de kinect et mon micro est de piètre qualité…) j’ai régulièrement une fermeture inopiné du WSRMicro:

    Signature du problème :
    Nom d’événement de problème: CLR20r3
    Signature du problème 01: wsrmacro.exe
    Signature du problème 02: 0.0.0.0
    Signature du problème 03: 5191292b
    Signature du problème 04: WSRMacro_Kinect
    Signature du problème 05: 0.0.0.0
    Signature du problème 06: 5191292b
    Signature du problème 07: d0
    Signature du problème 08: 81
    Signature du problème 09: System.IO.FileNotFoundException
    Version du système: 6.1.7601.2.1.0.256.1
    Identificateur de paramètres régionaux: 1036
    Information supplémentaire n° 1: 0a9e
    Information supplémentaire n° 2: 0a9e372d3b4ad19135b953a78882e789
    Information supplémentaire n° 3: 0a9e
    Information supplémentaire n° 4: 0a9e372d3b4ad19135b953a78882e789

    Bizarrement, c’est que des qu’il se ferme, le taux de confidence etait bon:

    [2013:05:26 19:01:25] [ENGINE] RECOGNIZED Speech: 0,9174628/0,9334036 Device: Text: SARAH quelle heure est il
    [2013:05:26 19:01:25] [CONTEXT] Reset timeout

    Comme je suis plus que débutant …..

    Merci d’avance

    Répondre
  • 26 mai 2013 à 19 h 34 min
    Permalink

    Salut,

    Je pense que tu dois avoir des voix (KobaSpeech ou autre) qui font planter l’application.

    Sinon vérifie aussi que tu as bien le Framework .Net 4.5

    Enfin, essaye de faire 1 apprentissage de la réco vocale windows, et pousse le niveau le plus haut possible

    Répondre
  • 4 juin 2013 à 19 h 17 min
    Permalink

    Qu’entend tu par ne pas « ne pas laisser tourner » ?

    Répondre
  • 4 juin 2013 à 19 h 54 min
    Permalink

    Il ne faut pas que le petit programme qui permet de piloter à la voix windows tourne en tâche de fond (un programme souvent placé en haut de l’écran pour dicter du texte).

    Répondre
  • 29 juillet 2013 à 15 h 52 min
    Permalink

    Bonjour JP,

    je suis en train de decrouvrir S.A.R.A.H et je rencontre quelques difficultés …

    J’ai reussi à le faire fonctionner une seule fois mais avec l’outil de reconnaissance vocal windows en mode veille, car si je n’ai pas le programme ouvert voici les erreur que j’obtiens :
    error: Caught exception: TypeError: Cannot read pr
    error: Caught exception: Error: listen EADDRINUSE

    Lorsque le programme est ouvert mais en veille j’obtiens par contre cette erreur :
    REJECTED Speech: 0,2864242 < 0,7 Device: Text: SARAH es tu la

    J'ai bien installé le FW .Net 4.5 avec ses mise a jours
    je n'utilise pas de kinect mais le micro d'une webcam (logitech)
    Mon firewall et les port sont ouvert
    et j'ai rajouté virginie comme voix

    Est-ce qu'il existe une doc sur les erreurs possibles/rencontré et le moyen de les corrigés ?

    Merci

    Répondre
  • 29 juillet 2013 à 16 h 00 min
    Permalink

    Salut,
    C’est la première fois que je vois cette erreur !

    A priori il ne faut pas laisser tourner la reco de windows, un utilisateur me disait que ca bloquait la qualité de reconnaissance.

    REJECTED Speech: 0,2864242 < 0,7 Device: Text: SARAH es tu la

    Cela indique que ta voix est reconnue à 0.28 et on veut au mois plus de 0.7. En gros ton micro ne retransmet pas bien le son

    – Essaye de faire un coup d'apprentissage (pas plus de 1)
    – Augmente le niveau (pptés du périphérique)

    Répondre
  • 29 juillet 2013 à 17 h 12 min
    Permalink

    Ok merci pour ta réponse, Effectivement je viens de recommencer la phase d’apprentissage dans de meilleurs conditions et S-A-R-A-H me repend bien. J’ai coupé également la reco windows, Merci Jp !

    Répondre
  • 1 août 2013 à 6 h 40 min
    Permalink

    Salut J.P.,

    Quand je lance node rien ne se passe…

    Loading core proprieties…
    Loading custom proprieties…
    Express server listening on port 8080

    Puis sa ne bouge plus.

    Une idée?

    Merci beaucoup

    Répondre
  • 1 août 2013 à 8 h 48 min
    Permalink

    @Sofian, euh bah c’est normal non ? Faut que tu double clic sur le raccourcis du navigateur pour aller sur http://127.0.0.1:8080 (le site web). Et bien évidemment il faut aussi lancer le client WSRMicro ou WSRKinect

    Répondre
  • 9 août 2013 à 17 h 15 min
    Permalink

    Je suppose que ce doux programme n’est pas pour les mac ?!

    Répondre
  • 9 août 2013 à 17 h 20 min
    Permalink

    @Geeky
    – La partie NodeJS necessite d’installer un NodeJS.
    – La partie C# nécessite d’installer un Windows. Plusieurs personnes de la communauté utilisent des VM sur Mac

    Répondre
  • 11 août 2013 à 10 h 48 min
    Permalink

    L’installation des voix sur windows 7 n’est pas chose aisée, windows 7 n’a pas nativement les voix francaises et l’installation des voix est compromise, les fichiers d’installation ne sont plus disponible sur le site de microsoft.

    Répondre
  • 11 août 2013 à 11 h 31 min
    Permalink

    @Greg dans l’article il y a un lien qui évoque le sujet des voix.

    Celle de NextUp sont pas mal mais payantes.

    Sinon pour « tester », dans l’installation il y a un dossier README avec une voix Française.

    Répondre
  • 17 août 2013 à 3 h 32 min
    Permalink

    Bonjour J-P,
    Merci pour ce formidable travail !

    Voici mon erreur issue du fichier log :

    [ENGINE – Default] System.IO.FileNotFoundException: Impossible de charger le fichier ou l’assembly ‘System.Web, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a’ ou une de ses dépendances. Le fichier spécifié est introuvable.
    Nom de fichier : ‘System.Web, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a’
    à net.encausse.sarah.WSRSpeechEngine.HandleWildcard(RecognitionResult rr, String url)
    à net.encausse.sarah.WSRSpeechEngine.SpeechRecognized(RecognitionResult rr)
    à net.encausse.sarah.WSRSpeechEngine.recognizer_SpeechRecognized(Object sender, SpeechRecognizedEventArgs e)

    Avez-vous une piste ?

    Par avance merci !

    Répondre
  • 17 août 2013 à 9 h 35 min
    Permalink

    Bonjour visiblement il n’arrive pas à charger la librairie lié au « web » pour faire une requête. Est ce que le framework .Net45 est bien installé ?

    Répondre
  • 7 septembre 2013 à 14 h 04 min
    Permalink

    Bonjour

    pour commencer je tiens a vous dire que votre projet est vraiment super je suis fan

    je rencontre en revanche un problème a l’installation
    quand je regarde la vidéo au moment ou vous faite un clic droit sur la petite maison il s’affiche Log2Console et Kinect en revanche chez moi je n ai que Log2Console d affiché
    j ai bien lancé WSRNode.cmd et WSRkinect.cmd mais c est pareil et j ai l impression que mon kinect reçois mal les infos je bloque un peut …

    merci en tous cas de votre travail enorme

    Répondre
  • 7 septembre 2013 à 14 h 14 min
    Permalink

    Par défaut la v2.9 ne fait que la reco vocale. Renomme le custom.cpu.ini en custom.ini (backup l’ancien) ce qui va activer toutes les fonctions de SARAH et donc l’icone Kinect

    Répondre
  • 7 septembre 2013 à 18 h 56 min
    Permalink

    un grand merci pour votre réponse aussi rapide

    quand je fait la manipulation des fichier ini j ai mon uc qui plafonne a 100% du coup ca rame sévère 😉
    j ai tous desinstallé/reinstallé et ça marche impeccable

    je rencontre un autre problème sur le contrôle vocal d xbmc avec ma raspberry
    a par play/stop sur de la music ( deja lancé ) je ne peut rien faire je ne comprend pas d’ou vient le souci …

    cordialement

    Répondre
  • 3 octobre 2013 à 15 h 23 min
    Permalink

    Bonjour, tout d’abord bravo, super travail, complet et excellent.
    Ensuite voila mon souci, j’ai installé le framework .Net 4.5, lancer WSRMicro et WSRNodeJS, et … rien ne se passe, comme si la commande vocal ne marchait pas.
    Je suis passé en mode DEBUG avec le rep /dump, il n’y a rien dedans, dans les log je n’ai rien, pourtant tout a l’air d’avoir fonctionné.
    J’ai testé le micro avec l’appli microphone, il est OK., j’ai testé la voix sous sapi.cpl c’est OK, bref je coince, merci d’avance pour votre aide.

    Répondre
  • 7 janvier 2014 à 1 h 15 min
    Permalink

    Bonjour,
    J’éprouve quelques difficultés à utiliser la Kinect (for Xbox 360) (je suis sous Windows 8.1).
    J’ai bien installé le sdk (Kinect for Windows SDK 1.7 (March 2013)) et le pack de langue français, mais quand je tente de lancer Client_kinect.cmd il ne se passe strictement rien…
    Ça fait un moment que je bloque avec ça, peut être que cela viens de ma version de Windows mais je ne pense pas. Si quelqu’un à une piste je suis preneur ! SI j’ai mal exprimé mon problème, n’hésitez pas à demander des précisions 😉

    Merci d’avance, et en tout cas très beau travail ! (J’utilise SARAH en reconnaissance vocale depuis quelques mois maintenant, c’est vraiment ludique j’adore !).

    Nicolas FEREC

    Répondre
  • 25 février 2014 à 6 h 28 min
    Permalink

    bonjour

    ne disposant pas d’installation Kinect, je souhaite faire un test basic avec le micro d mon pc sous win 7

    sa ne fonction pas

    Répondre
  • 25 février 2014 à 13 h 28 min
    Permalink

    bonjour

    je viens refaire une installation sur la racine du c:

    installation ce passe bien
    1- Server_NodeJS.cmd ( la fenêtre DOS s’ouvre)
    2- Client_Microphone.cmd ( la maison s’affiche)

    3- je lance la reconnaissance vocal sous win 7

    et rien ne ce passe, quand je double clique sur la maison j’ai le fichier time.xml du fichier c:sarah/macro qui s’ouvre

    concernant le http://127.0.0.1:8080/ il s’ouvre bien

    sur l’écran il y a : Aucun dispositif favoris défini … (Ou communication perdu!)
    quand je clique sur matériel il trouve l’adresse de ma box FIBARO.

    avant d’aller plus je souhaite luis demander l’heure a sarah

    Répondre
  • 25 février 2014 à 16 h 14 min
    Permalink

    Le 3. n’est pas nécessaire voir risque de provoquer un conflit, il suffit de faire 1 et 2 puis dire « SARAH il est quelle heure ? »

    Après pour fouiller plus en profondeur, regarder les logs du client dans le répertoire /bin

    Répondre
    • 25 février 2014 à 16 h 42 min
      Permalink

      Ok quand je clique droit sur la maison pour lancer log2Cinsole il m fiche un message erreur

      Failed to initialise receviez message Queuing n a pas été instaler

      Répondre
  • 5 mars 2014 à 1 h 46 min
    Permalink

    bonjour, voici un messwage d erreur lorsque je lance le serveur.
    9:22] [CATCH_ALL] System.TypeLoadException: Impossible de charger le type ‘System.Runtime.CompilerServices.ExtensionAttribute’ à partir de l’assembly ‘mscorlib, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089’.
    à System.ModuleHandle.ResolveMethod(RuntimeModule module, Int32 methodToken, IntPtr* typeInstArgs, Int32 typeInstCount, IntPtr* methodInstArgs, Int32 methodInstCount)
    à System.ModuleHandle.ResolveMethodHandleInternalCore(RuntimeModule module, Int32 methodToken, IntPtr[] typeInstantiationContext, Int32 typeInstCount, IntPtr[] methodInstantiationContext, Int32 methodInstCount)
    à System.ModuleHandle.ResolveMethodHandleInternal(RuntimeModule module, Int32 methodToken, RuntimeTypeHandle[] typeInstantiationContext, RuntimeTypeHandle[] methodInstantiationContext

    Merci d avance et bravo pour ce beau projet.
    gwenta79

    Répondre
  • 26 août 2014 à 14 h 57 min
    Permalink

    moi je parle sa bouge dans la commande mais sa ne repon pas

    Répondre
  • 22 octobre 2014 à 14 h 46 min
    Permalink

    Bonjour
    Je suis arriver à installer Sarah elle me répond dans mes requêtes, mais quand je lui demande la reconnaissance faciale elle me dis quel ouvre mais rien ne ce passe pas d ouverture de programme pluing installer et je n’ai et pas d image avec la Kinect, et pur la météo comment changer la ville il n y a rien pour modifier sur l icône meteo
    Merci

    Répondre
    • 22 octobre 2014 à 15 h 05 min
      Permalink

      Pour la reconnaissance faciale, il faut lancer l’IHM (maison dans la barre de tache) mettre un nom et cliquer sur entrainer ensuite cette information sera envoyé aux plugins côté serveur

      Pour la météo il faut modifier le XML du plugin. Je crois qu’il y a plusieurs plugin Meteo pour gérer l’international (enfin faut bidouiller)

      Répondre
  • 7 décembre 2014 à 1 h 40 min
    Permalink

    Bonjour,
    chez moi je ne trouve pas les 2 fichiers :

    WSRNode.bt qui va lancer le serveur S.A.R.A.H.
    WSRMicro.bat (ou WSRKinect) pour faire l’acquisition orale.

    Cordialement,

    Répondre
  • 28 juillet 2015 à 2 h 51 min
    Permalink

    Bonjour j’ai un probleme car quand je demande l’heure a SARAH par exemple elle me repond en Anglais alors que dans la config la langue est reglee sur francais. Que faire ?

    Répondre
  • 4 octobre 2015 à 10 h 20 min
    Permalink

    Comment on fait pour télécharger le zip et le déziper mais surtout comment on fait pour le télécharger SVP

    Répondre
    • 4 octobre 2015 à 12 h 20 min
      Permalink

      Euh … quand on clic sur le menu « SARAH » de ce site une page s’affiche avec un bouton télécharger ?

      Répondre
  • 5 décembre 2015 à 16 h 37 min
    Permalink

    bonjour , j’ai l’impression que sarah ne m’entend pas , alors que ma kinect est bien détecter par mon ordinateur , comment faire ?

    Répondre
  • 31 juillet 2016 à 16 h 28 min
    Permalink

    Bonjour,

    Je ne sais pas si ce post est toujours suivi mais j’essaie quand même 🙂 j’ai suivi tout ce qui est indiqué mais ma kinect n’est pas détecté par Windows (Aucun périphérique d’enregistrement de détecté ») J’ai même essayé en la branchant sur un un HUB USB branché en externe. L voyant de la Kinect V1 clignote en vert continuellement.

    Merci par avance.

    Répondre
    • 31 juillet 2016 à 17 h 19 min
      Permalink

      Si c’est un Kinect XBox 360 il faut un adaptateur en plus qui la reliera au secteur (l’USB seul ne suffit pas)

      Répondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *