L'obiettivo di Google Cloud è fornire un'infrastruttura di intelligenza artificiale (AI) di altissimo livello per alimentare i carichi di lavoro con accelerazione GPU più impegnativi in un'ampia gamma di segmenti. Puoi utilizzare le GPU su Google Cloud per eseguire applicazioni di AI, machine learning (ML), scientifiche, analisi, engineering, consumer e enterprise.
Grazie alla nostra partnership con NVIDIA, Google Cloud fornisce le GPU più recenti ottimizzando al contempo lo stack software con un'ampia gamma di opzioni di archiviazione e networking. Per un elenco completo delle GPU disponibili, vedi Piattaforme GPU.
Le sezioni seguenti descrivono i vantaggi delle GPU su Google Cloud.
VM con accelerazione GPU
Su Google Cloud puoi accedere alle GPU ed eseguirne il provisioning nel modo più adatto alle tue esigenze. È disponibile una famiglia di macchine ottimizzate per l'acceleratore, con GPU precollegate e funzionalità di networking ideali per massimizzare le prestazioni. Sono disponibili nelle serie di macchine A3, A2 e G2.
Più opzioni di provisioning
Puoi eseguire il provisioning dei cluster utilizzando la famiglia di macchine ottimizzate per l'acceleratore con uno qualsiasi dei seguenti prodotti open source o Google Cloud.
Vertex AI
Vertex AI è una piattaforma di machine learning (ML) completamente gestita che puoi usare per addestrare ed eseguire il deployment di modelli ML e applicazioni IA. Nelle applicazioni Vertex AI puoi utilizzare le VM con accelerazione GPU per migliorare le prestazioni nei seguenti modi:
- Utilizza VM abilitate per GPU in pool di worker GKE con addestramento personalizzato.
- Utilizza i modelli LLM open source di Vertex AI Model Garden.
- Riduci la latenza delle previsioni.
- Migliora le prestazioni del codice del blocco note di Vertex AI Workbench.
- Migliora le prestazioni di un runtime di Colab Enterprise.
GKE e Slurm
Le piattaforme di orchestrazione su larga scala, come GKE, sono ideali per il provisioning di cluster di grandi dimensioni che possono essere utilizzati per l'addestramento e il perfezionamento di modelli ML su larga scala. I modelli ML su larga scala sono quelli che utilizzano grandi quantità di dati.
Su Google Cloud sono disponibili le seguenti piattaforme di orchestrazione.
Google Kubernetes Engine (GKE) è un servizio che puoi utilizzare per eseguire il deployment e gestire le applicazioni containerizzate su larga scala utilizzando l'infrastruttura di Google.
Slurm: è uno strumento open source per la gestione e la pianificazione dei job dei cluster. Su Google Cloud puoi eseguire il deployment dei cluster Slurm utilizzando Cloud HPC Toolkit.
Esegui l'addestramento e il perfezionamento di modelli su larga scala
Per l'addestramento o il perfezionamento dei modelli su larga scala, consigliamo di utilizzare un cluster di a3-megagpu-8g macchine e di eseguire il deployment con uno scheduler come GKE o Slurm.
Opzione di deployment |
Guide al deployment |
Slurm |
|
GKE |
Esegui l'addestramento e il perfezionamento dei modelli tradizionali
Per l'addestramento e il perfezionamento dei modelli mainstream, consigliamo di utilizzare il a3-highgpu-8g standard o qualsiasi tipo di macchina A2 o G2 ed eseguire il deployment con uno scheduler come GKE o Slurm.
Opzione di deployment |
Guide al deployment |
Carichi di lavoro |
GKE |
Inferenza: gestire i modelli su GKE Addestramento: Addestra un modello su GKE |
|
Slurm |
||
Compute Engine
Puoi anche creare e gestire VM singole o cluster più piccoli di VM con GPU collegate su Compute Engine. Questo metodo è ideale per eseguire carichi di lavoro ad alta intensità di grafica.
Opzione di deployment |
Guide al deployment |
Creare gruppi di istanze gestite |
|
Crea VM collettivamente |
|
Crea una singola VM |
|
Crea workstation virtuali |