TensorFlow Lite et MediaPipe ont annoncé une nouvelle API expérimentale appelée MediaPipe LLM Inference, qui permet d'exécuter des Large Language Models (LLMs) entièrement sur l'appareil. Cette API prend en charge Web, Android et iOS et offre la possibilité d'utiliser quatre LLMs disponibles : Gemma, Phi 2, Falcon et Stable LM. Les développeurs peuvent intégrer facilement ces modèles dans leurs projets en suivant quelques étapes simples. Des optimisations ont été effectuées pour garantir des performances de pointe, notamment en termes de latence. Des benchmarks ont été réalisés pour évaluer la performance des modèles sur différentes plateformes. De plus, des optimisations au niveau des opérations de connexion complète, de la mise en cache et du partage des poids ont été mises en place pour améliorer les performances. Cette API est encore en version expérimentale, mais des améliorations et des mises à jour sont prévues pour l'année à venir.