Projet SARAH: IJenko

SarahJ’ai poursuivi mon POC (Proof of Concept) de SARAH en intégrant un contrôle vocal ultra minimaliste de la box IJenko.

J’ai réutilisé, pour cela, mon développement WebHarvest afin d’envoyer des commandes à la box.

SARAH

Mais, avant tout, voici une vidéo de présentation de SARAH  lors de l’épisode 2 de la saison 1 de la série Eureka:

[mom_video type= »youtube » id= »y0Fsq2OOZ7g »]

POC étape 2

Je suis encore très loin du modèle original ! Pour le moment, mon plugin JCMS fonctionne de la manière suivante:

  1. Je donne un ordre vocal à Microsoft Speech Recognition
    1. une macro de Windows Speech Macro est appelée
    2. et lance l’exécution d’un .bat paramétré
  2. Le .bat exécute un WGET pour interroger JCMS
    1. identifiant de l’objet WebHarvest
    2. divers paramètres reconnus
  3. JCMS lance une tache de scrapping WebHarvest
    1. positionne les variables
    2. récupère le résultat
    3. construit une phrase de réponse
  4. JCMS lance une tache de vocalisation Loquendo
    1. écrit dans un fichier temporaire la réponse
    2. Loquendo produit un fichier wav correspondant
    3. JCMS joue le fichier wav

Ce n’est pas très efficace ni très élégant mais ça marche relativement bien.

[mom_video type= »youtube » id= »L6qEMumImAw »]

Vidéo montée à l’arnache depuis mon iPhone 4 (sans retouche) on a du mal à entendre les « respirations » de Sarah.

Macro Microsoft Speech

Voici un exemple de macro Microsoft, le symbole […] correspond au texte détecté. Il est possible de faire des macro XML plus évoluées.

Macr oSpeech

Type JCMS WebHarvest

Et voici mon Type  JCMS WebHarvest permettant d’interroger Allociné ou IJenko.

  • Le champ Scraper correspond au XML reconnu par WebHarvest.
  • VarKeys et VarValues permettent de construire une Map de paramètres passés au Scraper.
  • Answer correspond à la valeur modifiée et  lue dans la Map après traitement.
  • Speech est une liste de réponses possibles en fonction du nombre de réponses (0,1,N) ou du statut (0 = éteint, 1= allumé)

JCMS Webharvest

7 réflexions sur “Projet SARAH: IJenko

  • 9 octobre 2010 à 22 h 16 min
    Permalien

    Bon j’ai poursuivi mes recherches d’articles sur le microphone Acoustic Magic mais je crains que la capture audio soit vraiment mauvaise…

    Je me demande ce que ça va donner sur le Kinect, vivement sa sortie !

    Répondre
  • 10 octobre 2010 à 0 h 43 min
    Permalien

    C’est trop fort !

    Je trouve que les recherches sur AlloCiné sont hyper réactives.

    Bravo !

    Répondre
  • 10 octobre 2010 à 0 h 54 min
    Permalien

    Oui l’interrogation sur IJenko est assez aléatoire pour plusieurs raisons:
    – Leur site n’est pas encore optimisé.
    – Je fais 2 requêtes: login (pour le cookie) puis ordre.
    – Je me prends un redirect vers une page assez lourde.
    Ce sera corrigé avec la futur API REST.

    Je coupe le micro après chaque ordre sinon le système essaye de reconnaître la voix de loquendo et fait n’importe quoi sur ma machine (fermeture de fenêtre, …)

    Répondre
  • Ping : Kinect: Retour d’expérience à chaud « jAlias

  • Ping : Box Domotique Eedomus « jAlias

  • Ping : Projet SARAH: Implémentation C# « jAlias

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.