AI Edge Torch Generative API to biblioteka zoptymalizowana pod kątem urządzeń mobilnych do konwertowania opartych na transformerze modeli PyTorch na format TF Lite, co umożliwia konwertowanie dużych modeli językowych (LLM) na potrzeby generowania obrazów i tekstu na urządzeniu za pomocą TF Lite i MediaPipe. Interfejs AI Edge Torch Generative API działa obecnie tylko na procesorach, z zaplanowaną obsługą procesorów graficznych i NPU.
Deweloperzy aplikacji mobilnych mogą za pomocą interfejsu Edge Generative API zintegrować modele PyTorch LLM z interfejsem MediaPipe LLM Inference API, aby tworzyć aplikacje, które w pełni korzystają z tych przekonwertowanych modeli PyTorch na urządzeniu.
Więcej informacji znajdziesz w repozytorium GitHub dotyczącym interfejsu Generative Torch API.