A API AI Edge Torch Generative é uma biblioteca otimizada para dispositivos móveis para converter modelos PyTorch baseados em transformadores para o formato TF Lite, permitindo converter modelos de linguagem grandes (LLMs) para geração de texto e imagem no dispositivo com o TF Lite e o MediaPipe. No momento, a API AI Edge Torch Generative é apenas para CPU, com suporte planejado para GPU e NPU.
Os desenvolvedores de apps para dispositivos móveis podem usar a API Edge Generative para integrar LLMs PyTorch à API MediaPipe LLM Inference e criar apps que executem esses modelos PyTorch convertidos completamente no dispositivo.
Para saber mais, consulte o repositório do GitHub da API Generative Torch.