SARAH v5: Edge Vision avec Google AIY

La reconnaissance d’image de SARAH avec Azure Custom Vision et les caméras Blink fonctionne très bien mais a ses limites ! Ces caméras ne sont pas adaptées dans une pièce à vivre, comme le salon car la batterie se vide très rapidement. Et streamer un flux vidéo 24/7 sur le cloud n’est pas du tout efficace !

D’où l’idée de faire de la détection de visage depuis un Raspberry Pi Zero équipé d’un Intel Vision Bonnet capable de faire tourner un modèle Tensorflow à +10fps ! C’est le projet Google AIY.

J’ai modifié le code python d’un exemple afin d’y intégrer un client WebSocket qui se connecte à SARAH pour lui envoyer intelligemment les photos contenant des visages.

Le flow se comporte de la manière suivante:

  • Détection de mouvement (ou une autre raison)
  • Envoi d’un ordre au PiZero pour lancer la détection de visage
  • Réception de l’image et des coordonnées des visages
  • Transfert de l’image à Azure Face API
  • Mise à jour de la liste des gens présent dans la pièce

Le modèle TensorFlow retourne aussi le « Joy Score » ce qui permet à SARAH de raconter une blague puis de regarder qui a aimé (nous avions mis en place un scénario similaire avec Djingo lors de Vivatech.)

Les visages associés à une personne sont stockés dans AirTable ce qui facilite les mises à jour. Typiquement pour améliorer la reconnaissance.

Il doit être possible de faire de la reconnaissance de visage onBoard (après la détection) mais cela impliquerait de télécharger le modèle régulièrement.

La nappe électronique de la caméra est super sensible et retourne parfois des images magenta… j’ai testé avec d’autres caméra censées être compatible avec le PiZero mais le Vision Bonnet n’aime pas …

Bon ça marche bien et même de loin ! Next Step, intégrer cette reconnaissance de personne à des notifications vocales … puis impression 3D, capteur PIR onBoard et reconnaissance d’objets …

Ce billet fait partie d’un ensemble d’articles décrivant la manière dont je gère ma domotique avec SARAH v5:

2 pensées sur “SARAH v5: Edge Vision avec Google AIY

  • 5 janvier 2019 à 21 h 07 min
    Permalink

    Bonjour,

    Série d’articles très intéressants comme d’habitude. Cela fait plusieurs fois que tu parles d’AirTable et je vais sérieusement commencer à y jeter un oeil. J’utilise souvent google spreadsheet pour mes projets mais cet outils semble fournir plus de fonctionnalités.

    Sinon un peu sur le même sujet je viens de publier un article sur medium (https://medium.com/@jbx028/ok-google-what-do-you-see-on-my-picture-b4bc3e65f7a9) au sujet d’un petit projet que j’ai réalisé cette semaine.
    Je prend un photo avec mon iphone via l’application google drive et je demande alors à mon google home ce qu’il y a dessus et il me répond. Le tout est piloté comme toi par node-red et j’ai utilisé une brique viseo en tant que passerelle pour azure vision. C’est vraiment fun et ça fonctionne super bien. Comme tu le disais dans un autre article l’api google home est pas terrible car je suis obligé d’utiliser la fonction cast pour envoyer le tts mais bon ça fait le job.
    Bravo et continue à partager tes projets qui sont toujours super inspirant !!

    Répondre
    • 5 janvier 2019 à 23 h 23 min
      Permalink

      Merci, oui AirTable est vraiment hyper cool. Le seul truc pénible est que pour vraiment l’utiliser sérieusement il faudrait prendre un abonnement Pro (20$/user/mois) avec une limite à 50.000 ligne par base (ce qui est peu) et impossible de partager en écriture (car c’est un coût au user)

      Répondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.