C’était la sortie de Windows 10 le 29/07 et donc l’occasion de migrer toutes mes machines sur le nouvel OS. J’avais déjà ma table connectée en Windows 10 Insider pour valider que SARAH marchait…
Nicolas Popy m’a fait remarqué qu’il y avait le « Hey Cortana » de disponible pour ne pas avoir à appuyer sur un bouton. Et qui marche très bien !
La reconnaissance vocale de Cortana marche vraiment très bien je pense que c’est Microsoft Oxford qui est utilisé par en dessous …
En farfouillant dans la base de registre et le windows on peut voir qu’il y a des grammaires SAPI compilées classiques qui dans certains cas vont rediriger l’information vers Bing ou des services dédiés …
J’ai aussi trouvé une extension Chrome qui « magiquement » interrompt une requête Bing pour ouvrir un onglet Google ! Truc de fou ! (Je n’ai pas compris comment ça marchait par en dessous)
J’ai donc fait une extension Bing2SARAH sur le même principe 🙂
Pour l’installer il suffit de la déclarer dans Chrome. Si vous modifiez le JS il faut la recharger.
Enfin il ne reste plus qu’a créer un plugin « cortana » qui fera le code que vous souhaitez:
[crayon]
exports.action = function(data, next){
// Called by SARAH to perform main action
info(‘Plugin cortana is called …’, data);
var query = data.q
console.log(‘Cortana’, query);
next({ });
}
[/crayon]
Pour faire une redirections:
[crayon]
next({ ‘tts’: ‘<script>document.location = "http://meteofrance.com"</script>’ });
[/crayon]
Pour fermer l’onglet Chrome:
[crayon]
next({‘tts’: ‘<script>self.close();</script>’ });
[/crayon]
Vidéo !
[mom_video type= »youtube » id= »OJrUSycjY5M »]
Améliorations
Voici les pistes d’amélioration pour ce « code à l’arrache »
- Extension: Peut-on fermer l’onglet ou ne pas l’ouvrir ?
- Extension: Peut-on exécuter un programme ?
- Extension: Rajouter un fichier option pour configurer l’URL du serveur SARAH
- Plugin: faire une regexp pour parser les commandes
- Plugin: jeter le texte dans un plugin RiverScript (chatter bot)
- Plugin: renvoyer une balise script qui fera une redirection vers une page web du serveur SARAH
Enfin bref, … the sky the limit ! Cortana peut maintenant demander à SARAH d’allumer vos lampes !
Non je ne sais pas
- comment Google hack Bing
- comment changer « Hey Cortana » (certainement changer les grammaires compilées)
- comment hacker les petit widget (comme la météo) de Cortana (il y a une sorte de template bing)
Encausse.net 
Laisser un commentaire