Halloween Vocal Assistant

On vous raconte beaucoup d’histoires sur les assistants vocaux, mais eux aussi peuvent vous en raconter et même vous faire participer à des aventures en cette période d’Halloween…

L’idée n’est pas nouvelle, cela fait 5ans que j’expérimente avec SARAH différentes manières d’utiliser les assistant vocaux pour créer une expérience vocale et sonore autour des jeux.

En cette période d’Halloween j’ai utilisé la v5 de SARAH (le VISEO Bot Maker) pour refaire le jeu Betrayal at House on the Hill en vocale avec Google Home et en textuel multijoueur avec Microsoft Bot Framework.

Côté backend, j’ai installé sur un serveur Azure VISEO Bot Maker en suivant la doc Wiki. J’ai créé un noeud Node-RED DialogFlow sur l’API v2.0 qui reçoit les requêtes d’une action de Google Assistant qui s’appelle « Maître du Jeu ».

La partie commence en demandant à Google Home: « Ok Google, Je veux parler à maître du jeu » ce qui permet d’instancier une partie pour cet utilisateur. Ensuite les joueurs peuvent rejoindre la partie via une interface WebChat sur leur téléphone mobile (un code faisant l’authentification).

Ensuite la mécanique fonctionne de la manière qu’un Dungeon Crawler: Porte > Monstre > Trésor. Avec comme principale difficulté de générer une carte en suivant au mieux les règles Betrayal at House on the Hill. Une petite carte permet de mieux debugguer la position du joueur (qui va, par exemple, dire en avant et non à l’ouest)

Le potentiel est énorme, la mécanique est générique et peut facilement évoluer car toute la logique de jeu a été déporté dans un AirTable un outil SaaS que je voulais tester depuis un moment, qui est un croisement entre un CMS et un SpreadSheet le tout API-sé. Il devient alors super simple de rajouter des photos ou de faire des liens entre des personnages et des pièces.

Reste maintenant à gérer le design vocal. Je le répète … Alexa, Google Home, Cortana … c’est dl’a merde ! car leurs API repose sur une mécanique de requête/réponse. Il n’est pas possible de répondre plusieurs messages, ou envoyer une notification (par exemple quand un joueur déclenche un piège). Il faut donc ruser avec un petit Raspberry Pi installé avec un Node RED et connecté en Websocket dont le rôle sera de caster de l’audio au GoogleHome sur le réseau local (avec un horrible « bip » de notification)

Enfin pour le costume du petit Google Home … c’était la première que je faisais une prothèse en gélatine ! (j’ai suivi un tuto de Paul SFX) en créant un moule en patte à modeler. Franchement ça marche super bien ! Et ça donne plein d’idées pour mixer électronique et prothèse.

Pour les effets spéciaux, j’ai utilisé une dizaine de peinture citadelle achetée chez Games Workshop. Brossage à sec, vernis brillant pour les pustules, etc …

L’oeil est un Arduino HalloWing M0 de chez Adafruit avec une demi sphère en verre. C’est dommage, l’écran est vraiment trop lumineux (ce qui peut se règler en Arduino) et l’angle de vision est trop faible. Idéalement il faudrait une version OLED (mais ce ne serait pas le même prix).

Conclusion ! Un projet bien sympa qui coûte tout de même plusieurs centaines d’euros et plusieurs semaines de boulot. Mais j’ai pu tester de nombreuses technos et je suis encore plus convaincu du design sonore dans le contexte des assistant vocaux. Il faut vraiment que les GAFAM améliorent leurs APIs afin de faciliter l’envoi de différents effets sonores et vocaux.

Next Step ? La mécanique est là, il faut encore grandement améliorer les règles du jeu afin d’impliquer les joueurs dans l’aventure… Le croisement entre le vocal et le WebChat fonctionne vraiment bien comme dans une partie de Jeu de Rôle dans laquelle le MJ peut envoyer des messages secrets aux joueurs.

Ah ! d’ailleurs, il doit être possible de jouer par téléphone !!! Non pas 3615 GouGou, mais DialogFlow proposant depuis peu en beta « Dialogflow Phone Gateway ».