轉換生成式 PyTorch 模型

AI Edge Torch Generative API 是針對行動裝置最佳化的程式庫，可將以 Transformer 為基礎的 PyTorch 模型轉換為 TF Lite 格式，方便您透過 TF Lite 和 MediaPipe 轉換大型語言模型 (LLM) 產生裝置端圖片和文字產生作業。AI Edge Torch Generative API 目前只能使用 CPU，並有規劃的 GPU 和 NPU 支援。

行動應用程式開發人員可以使用 Edge Generative API 將 PyTorch LLM 與 MediaPipe LLM Inference API 整合，建立應用程式，並在裝置端完整執行已轉換的 PyTorch 模型。

詳情請參閱 Generative Torch API GitHub 存放區。