AI Edge Torch Generative API, मोबाइल पर काम करने वाली लाइब्रेरी है. इसे ट्रांसफ़ॉर्मर पर आधारित PyTorch मॉडल को TF Lite फ़ॉर्मैट में बदलना होता है. इससे डिवाइस पर मौजूद इमेज और टेक्स्ट जनरेट करने के लिए, TF Lite और MediaPipe की मदद से बड़े लैंग्वेज मॉडल (एलएलएम) को बदला जा सकता है. फ़िलहाल, AI Edge Torch Generative API सिर्फ़ सीपीयू पर काम करता है. इसमें, जीपीयू और एनपीयू, दोनों के साथ काम करता है.
मोबाइल ऐप्लिकेशन डेवलपर, PyTorch एलएलएम को MediaPipe LLM Infrence API के साथ इंटिग्रेट करने के लिए, Edge Generative API का इस्तेमाल कर सकते हैं. इससे, ऐसे ऐप्लिकेशन बनाए जा सकते हैं जो नए PyTorch मॉडल को पूरी तरह से उपयोगकर्ता के डिवाइस पर चलाते हैं.
ज़्यादा जानकारी के लिए, Generative Torch API GitHub रेपो देखें.