In der Web-KI hat sich im letzten Jahr viel geändert. Falls Sie es verpasst haben, haben wir auf der I/O 2024 einen Vortrag über die neuen Modelle, Tools und APIs für Ihre nächste Web-App gehalten.
Web AI umfasst eine Reihe von Technologien und Techniken zur Verwendung von Modellen für maschinelles Lernen (ML), die clientseitig in einem Webbrowser ausgeführt werden, der auf der CPU oder GPU eines Geräts ausgeführt wird. Dies kann mit JavaScript und anderen Webtechnologien wie WebAssembly und WebGPU erstellt werden. Dies unterscheidet sich von der serverseitigen KI oder „Cloud AI“, bei der das Modell auf einem Server ausgeführt wird und über eine API darauf zugegriffen wird.
In diesem Gespräch haben wir Folgendes besprochen:
- Ausführung unserer neuen Large Language Models (LLMs) im Browser und die Auswirkungen der clientseitigen Ausführung von Modellen
- Blick in die Zukunft von Visual Blocks, um schneller Prototypen zu erstellen
- Außerdem erfahren Sie, wie Webentwickler JavaScript in Chrome verwenden können, um mit Web AI in großem Umfang zu arbeiten.
LLMs im Browser
Gemma Web ist ein neues offenes Modell von Google, das im Browser auf dem Gerät eines Nutzers ausgeführt werden kann. Es basiert auf derselben Forschung und Technologie, die wir auch bei Gemini entwickelt haben.
Wenn ein LLM auf dem Gerät installiert ist, lassen sich im Vergleich zur Inferenz auf einem Cloud-Server erhebliche Kosteneinsparungen erzielen. Außerdem werden der Datenschutz für Nutzer verbessert und die Latenz reduziert. Generative AI befindet sich im Browser noch in der Anfangsphase. Da sich die Hardware jedoch weiter verbessert (mit höherem CPU- und GPU-RAM), gehen wir davon aus, dass weitere Modelle verfügbar sein werden.
Unternehmen können ganz neu definieren, was auf einer Webseite möglich ist, insbesondere für aufgabenspezifische Anwendungsfälle, bei denen die Gewichte kleiner LLMs (2 bis 8 Milliarden Parameter) für die Ausführung auf Verbraucherhardware optimiert werden können.
Gemma 2B kann für Kaggle-Modelle heruntergeladen werden. Das Format ist mit unserer Web LLM-Inferenz-API kompatibel. Weitere unterstützte Architekturen sind z. B. Microsoft Phi-2, Falcon RW 1B und Stable LM 3B, die Sie mithilfe unserer Converter-Bibliothek in ein Format konvertieren können, das von der Laufzeit verwendet werden kann.
Schnellere Prototypen mit visuellen Bausteinen
Wir arbeiten mit Hugging Face zusammen, das 16 brandneue benutzerdefinierte Knoten für visuelle Bausteine erstellt. Damit stehen Transformers.js und das breitere Hugging Face-Ökosystem für visuelle Blocks zur Verfügung.
Acht dieser neuen Knoten werden vollständig clientseitig mit Web AI ausgeführt, darunter:
- Bildsegmentierung
- Übersetzung
- Tokenklassifizierung
- Objekterkennung
- Textklassifizierung
- Hintergrund entfernen
- Tiefenschätzung
Darüber hinaus gibt es sieben serverseitige ML-Aufgaben von Hugging Face, mit denen Sie Tausende von Modellen mit APIs in Visual Blocks ausführen können. Sehen Sie sich die Sammlung „Hugging Face Visual Blocks“ an.
Mit Chrome in großem Maßstab JavaScript für Web-KI verwenden
In den vorherigen Instanzen, z. B. mit Gemma, wird das Modell auf der Webseite selbst geladen und ausgeführt. Chrome arbeitet an einer integrierten KI auf dem Gerät, mit der Sie mit standardisierten, aufgabenspezifischen JavaScript APIs auf Modelle zugreifen können.
Und das ist noch nicht alles. Außerdem hat Chrome die WebGPU mit Unterstützung für 16-Bit-Gleitkommawerte aktualisiert.
WebAssembly hat den neuen Vorschlag Memory64 entwickelt, um 64-Bit-Speicherindexe zu unterstützen, mit denen Sie größere KI-Modelle als zuvor laden können.
Web AI-Modelle mit der monitorlosen Chrome-Version testen
Sie können jetzt die clientseitige KI (oder jede Anwendung, die WebGL- oder WebGPU-Unterstützung benötigt) mit der monitorlosen Chrome-Version testen und dabei serverseitige GPUs für die Beschleunigung nutzen, z. B. NVIDIA T4 oder P100. Weitere Informationen:
- In Google Colab ausführen
- Ausführliche Testanleitung
- Sehen Sie sich auch den Beispielcode auf GitHub an.
Denken Sie daran: Fügen Sie #WebAI hinzu, wenn Sie Ihre Inhalte teilen, damit die breite Community Ihre Arbeit sehen kann. Teilen Sie Ihre Ergebnisse und Vorschläge auf X, LinkedIn oder auf einer bevorzugten sozialen Plattform.