SARAH v5: Edge Vision avec Google AIY
La reconnaissance d’image de SARAH avec Azure Custom Vision et les caméras Blink fonctionne très bien mais a ses limites ! Ces caméras ne sont pas adaptées dans une pièce à vivre, comme le salon car la batterie se vide très rapidement. Et streamer un flux vidéo 24/7 sur le cloud n’est pas du tout efficace !
D’où l’idée de faire de la détection de visage depuis un Raspberry Pi Zero équipé d’un Intel Vision Bonnet capable de faire tourner un modèle Tensorflow à +10fps ! C’est le projet Google AIY.
J’ai modifié le code python d’un exemple afin d’y intégrer un client WebSocket qui se connecte à SARAH pour lui envoyer intelligemment les photos contenant des visages.
Le flow se comporte de la manière suivante:
- Détection de mouvement (ou une autre raison)
- Envoi d’un ordre au PiZero pour lancer la détection de visage
- Réception de l’image et des coordonnées des visages
- Transfert de l’image à Azure Face API
- Mise à jour de la liste des gens présent dans la pièce
Le modèle TensorFlow retourne aussi le « Joy Score » ce qui permet à SARAH de raconter une blague puis de regarder qui a aimé (nous avions mis en place un scénario similaire avec Djingo lors de Vivatech.)
Les visages associés à une personne sont stockés dans AirTable ce qui facilite les mises à jour. Typiquement pour améliorer la reconnaissance.
Il doit être possible de faire de la reconnaissance de visage onBoard (après la détection) mais cela impliquerait de télécharger le modèle régulièrement.
La nappe électronique de la caméra est super sensible et retourne parfois des images magenta… j’ai testé avec d’autres caméra censées être compatible avec le PiZero mais le Vision Bonnet n’aime pas …
Bon ça marche bien et même de loin ! Next Step, intégrer cette reconnaissance de personne à des notifications vocales … puis impression 3D, capteur PIR onBoard et reconnaissance d’objets …
Ce billet fait partie d’un ensemble d’articles décrivant la manière dont je gère ma domotique avec SARAH v5:
- SARAH v5: La maison connectée
- SARAH v5: Architecture Domotique
- SARAH v5: Alarme MyFox de Somfy
- SARAH v5: Caméras Blink de Amazon
- SARAH v5: EEdomus, Z-Wave, ZigBee et EnOcean
- SARAH v5: Lampes Philips HUE, LIFX, etc …
- SARAH v5: Notifications sur Google Home
- SARAH v5 et Azure Custom Vision
- SARAH v5 : Chattez avec votre maison
- SARAH v5: Edge Vision avec Google AIY
- SARAH v5: Miroir Connecté
- SARAH v5: de la Maison à la Voiture
Bonjour,
Série d’articles très intéressants comme d’habitude. Cela fait plusieurs fois que tu parles d’AirTable et je vais sérieusement commencer à y jeter un oeil. J’utilise souvent google spreadsheet pour mes projets mais cet outils semble fournir plus de fonctionnalités.
Sinon un peu sur le même sujet je viens de publier un article sur medium (https://medium.com/@jbx028/ok-google-what-do-you-see-on-my-picture-b4bc3e65f7a9) au sujet d’un petit projet que j’ai réalisé cette semaine.
Je prend un photo avec mon iphone via l’application google drive et je demande alors à mon google home ce qu’il y a dessus et il me répond. Le tout est piloté comme toi par node-red et j’ai utilisé une brique viseo en tant que passerelle pour azure vision. C’est vraiment fun et ça fonctionne super bien. Comme tu le disais dans un autre article l’api google home est pas terrible car je suis obligé d’utiliser la fonction cast pour envoyer le tts mais bon ça fait le job.
Bravo et continue à partager tes projets qui sont toujours super inspirant !!
Merci, oui AirTable est vraiment hyper cool. Le seul truc pénible est que pour vraiment l’utiliser sérieusement il faudrait prendre un abonnement Pro (20$/user/mois) avec une limite à 50.000 ligne par base (ce qui est peu) et impossible de partager en écriture (car c’est un coût au user)