L'API AI Edge Torch Generative est une bibliothèque optimisée pour les mobiles qui permet de convertir des modèles PyTorch basés sur des transformateurs au format TF Lite, ce qui vous permet de convertir des grands modèles de langage (LLM) pour générer des images et du texte sur l'appareil avec TF Lite et MediaPipe. Actuellement, l'API AI Edge Torch Generative ne fonctionne qu'avec le processeur, avec une prise en charge planifiée des GPU et des NPU.
Les développeurs d'applications mobiles peuvent utiliser l'API Edge Generative pour intégrer les LLM PyTorch à l'API LLM Inference MediaPipe afin de créer des applications qui exécutent ces modèles PyTorch convertis entièrement sur l'appareil.
Pour en savoir plus, consultez le dépôt GitHub de l'API Generative Torch.