Utilizza una larghezza di banda di rete superiore

Puoi utilizzare larghezze di banda di rete più elevate, di 100 Gbps o più, per migliorare le prestazioni dei carichi di lavoro distribuiti in esecuzione sulle tue VM GPU.

Su Compute Engine sono disponibili larghezze di banda di rete più elevate per le VM con GPU collegate, come descritto di seguito:

  • Per le VM per uso generico N1 con GPU T4 e V100 collegate, puoi ottenere una larghezza di banda di rete massima di 100 Gbps, in base alla combinazione di numero di GPU e vCPU.
  • Per le VM ottimizzate per l'acceleratore A2 e G2, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base al tipo di macchina.
  • Per le VM ottimizzate per l'acceleratore A3, puoi ottenere una larghezza di banda di rete massima di 1800 Gbps.

Per esaminare le configurazioni o i tipi di macchina che supportano queste velocità di larghezza di banda di rete più elevate, consulta Larghezza di banda di rete e GPU.

Per informazioni generali sulla larghezza di banda di rete su Compute Engine, consulta Larghezza di banda di rete.

Panoramica

Per utilizzare le larghezze di banda di rete più elevate disponibili per ogni VM GPU, completa i seguenti passaggi consigliati:

  1. Crea la tua VM GPU utilizzando un'immagine del sistema operativo che supporti il NIC virtuale Google (gVNIC). Per le VM A3, ti consigliamo di utilizzare un'immagine di Container-Optimized OS.
  2. (Facoltativo) Installa Fast Socket. Fast Socket migliora le prestazioni NCCL su reti da 100 Gbps o superiori riducendo il conflitto tra più connessioni TCP. In alcune Deep Learning VM Images (DLVM) è preinstallato Fast Socket.

Utilizza Deep Learning VM Image

Puoi creare le tue VM utilizzando qualsiasi immagine supportata da GPU del progetto Deep Learning VM Images. In tutte le immagini DLVM supportate da GPU sono preinstallati il driver GPU, il software ML e gVNIC. Per un elenco di immagini DLVM, vedi Scelta di un'immagine.

Se vuoi utilizzare Fast Socket, puoi scegliere un'immagine DLVM come: tf-latest-gpu-debian-10 o tf-latest-gpu-ubuntu-1804.

Creare VM che utilizzano larghezze di banda di rete più elevate

Per larghezze di banda di rete più elevate, ti consigliamo di abilitare Google Virtual NIC (gVNIC). Per ulteriori informazioni, consulta la sezione Utilizzo dei NIC virtuali di Google.

Per le VM A3, è richiesto gVNIC versione 1.4.0rc3 o successiva. Questa versione del driver è disponibile in Container-Optimized OS. Per tutti gli altri sistemi operativi, è necessario installare gVNIC versione 1.4.0rc3 o successiva.

Per creare una VM con GPU collegate e una larghezza di banda di rete più elevata, completa quanto segue:

  1. Esamina la larghezza di banda di rete massima disponibile per ogni tipo di macchina con GPU collegate.

  2. Creare la tua VM GPU. Gli esempi seguenti mostrano come creare A3, A2 e N1 con VM V100 collegate.

    In questi esempi, le VM vengono create utilizzando Google Cloud CLI. Tuttavia, puoi anche utilizzare la console Google Cloud o l'API Compute Engine per creare queste VM. Per ulteriori informazioni sulla creazione di VM GPU, consulta Creare una VM con GPU collegate.

    A3 (H100)

    Per istruzioni dettagliate su come configurare le VM A3 per massimizzare le prestazioni di rete, consulta quanto segue:

    A2 (A100)

    Ad esempio, per creare una VM con una larghezza di banda massima di 100 Gbps, con otto GPU A100 collegate e utilizza l'immagine DLVM tf-latest-gpu, esegui questo comando:

    gcloud compute instances create VM_NAME \
 --project=PROJECT_ID \
 --zone=ZONE \
 --machine-type=a2-highgpu-8g \
 --maintenance-policy=TERMINATE --restart-on-failure \
 --image-family=tf-latest-gpu \
 --image-project=deeplearning-platform-release \
 --boot-disk-size=200GB \
 --network-interface=nic-type=GVNIC \
 --metadata="install-nvidia-driver=True,proxy-mode=project_editors" \
 --scopes=https://www.googleapis.com/auth/cloud-platform

    Sostituisci quanto segue:

    • VM_NAME: il nome della VM
    • PROJECT_ID : il tuo ID progetto
    • ZONE: la zona per la VM. Questa zona deve supportare il tipo di GPU specificato. Per ulteriori informazioni sulle zone, consulta Disponibilità di regioni e zone GPU.

    N1 (V100)

    Ad esempio, per creare una VM con una larghezza di banda massima di 100 Gbps, con otto GPU V100 collegate e che utilizza l'immagine DLVM tf-latest-gpu, esegui questo comando:

    gcloud compute instances create VM_NAME \
 --project PROJECT_ID \
 --custom-cpu 96 \
 --custom-memory 624 \
 --image-project=deeplearning-platform-release \
 --image-family=tf-latest-gpu \
 --accelerator type=nvidia-tesla-v100,count=8 \
 --maintenance-policy TERMINATE \
 --metadata="install-nvidia-driver=True"  \
 --boot-disk-size 200GB \
 --network-interface=nic-type=GVNIC \
 --zone=ZONE

  3. Se non utilizzi immagini Deep Learning VM supportate da GPU o Container-Optimized OS, installa i driver GPU. Per maggiori informazioni, consulta la sezione Installazione dei driver GPU.

  4. (Facoltativo) Sulla VM, installa Fast Socket.

  5. Dopo aver configurato la VM, puoi verificare la larghezza di banda della rete.

Installazione di Presa rapida

NVIDIA Collective Communications Library (NCCL) viene utilizzata da framework di deep learning come TensorFlow, PyTorch, Horovod per l'addestramento con più GPU e più nodi.

Fast Socket è un servizio di trasporto di rete di proprietà di Google per NCCL. In Compute Engine, Fast Socket migliora le prestazioni NCCL su reti da 100 Gbps riducendo il conflitto tra più connessioni TCP. Per ulteriori informazioni su come collaborare con NCCL, consulta la guida dell'utente di NCCL.

La valutazione attuale mostra che Fast Socket migliora la velocità effettiva di riduzione completa del 30-60%, a seconda delle dimensioni del messaggio.

Per configurare un ambiente Fast Socket, puoi utilizzare Deep Learning VM Image in cui Fast Socket è preinstallato oppure puoi installare manualmente Fast Socket su una VM Linux. Per verificare se Fast Socket è preinstallato, vedi Verificare che Fast Socket sia abilitato.

Prima di installare Fast Socket su una VM Linux, devi installare NCCL. Per istruzioni dettagliate, consulta la documentazione di NVIDIA NCCL.

CentOS/RHEL

Per scaricare e installare Fast Socket su una VM CentOS o RHEL, completa questi passaggi:

  1. Aggiungi il repository dei pacchetti e importa le chiavi pubbliche.

    sudo tee /etc/yum.repos.d/google-fast-socket.repo << EOM
[google-fast-socket]
name=Fast Socket Transport for NCCL
baseurl=https://packages.cloud.google.com/yum/repos/google-fast-socket
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg
      https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOM

  2. Installare Fast Socket.

    sudo yum install google-fast-socket

  3. Verifica che Fast Socket sia abilitato.

SLES

Per scaricare e installare Fast Socket su una VM SLES, completa questi passaggi:

  1. Aggiungi il repository di pacchetti.

    sudo zypper addrepo https://packages.cloud.google.com/yum/repos/google-fast-socket google-fast-socket

  2. Aggiungi le chiavi di repository.

    sudo rpm --import https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg

  3. Installare Fast Socket.

    sudo zypper install google-fast-socket

  4. Verifica che Fast Socket sia abilitato.

Debian/Ubuntu

Per scaricare e installare Fast Socket su una VM Debian o Ubuntu, completa i seguenti passaggi:

  1. Aggiungi il repository di pacchetti.

    echo "deb https://packages.cloud.google.com/apt google-fast-socket main" | sudo tee /etc/apt/sources.list.d/google-fast-socket.list

  2. Aggiungi le chiavi di repository.

    curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

  3. Installare Fast Socket.

    sudo apt update && sudo apt install google-fast-socket

  4. Verifica che Fast Socket sia abilitato.

È attiva la verifica dell'attivazione di Fast Socket

Completa i seguenti passaggi sulla tua VM:

  1. Individua la home directory del NCCL.

    sudo ldconfig -p | grep nccl

    Ad esempio, su un'immagine DLVM, ottieni il seguente output:

    libnccl.so.2 (libc6,x86-64) => /usr/local/nccl2/lib/libnccl.so.2
libnccl.so (libc6,x86-64) => /usr/local/nccl2/lib/libnccl.so
libnccl-net.so (libc6,x86-64) => /usr/local/nccl2/lib/libnccl-net.so

    Questo mostra che la home directory NCCL è /usr/local/nccl2.

  2. Verifica che NCCL carichi il plug-in Fast Socket. Per verificare, devi scaricare il pacchetto di test NCCL. Per scaricare il pacchetto di test, esegui questo comando:

    git clone https://github.com/NVIDIA/nccl-tests.git && \
cd nccl-tests && make NCCL_HOME=NCCL_HOME_DIRECTORY

    Sostituisci NCCL_HOME_DIRECTORY con la home directory NCCL.

  3. Dalla directory nccl-tests, esegui il processo all_reduce_perf:

    NCCL_DEBUG=INFO build/all_reduce_perf

    Se Fast Socket è abilitato, il messaggio FastSocket plugin initialized viene visualizzato nel log di output.

    # nThread 1 nGpus 1 minBytes 33554432 maxBytes 33554432 step: 1048576(bytes) warmup iters: 5 iters: 20 validation: 1
#
# Using devices
#   Rank  0 Pid  63324 on fast-socket-gpu device  0 [0x00] Tesla V100-SXM2-16GB
.....
fast-socket-gpu:63324:63324 [0] NCCL INFO NET/FastSocket : Flow placement enabled.
fast-socket-gpu:63324:63324 [0] NCCL INFO NET/FastSocket : queue skip: 0
fast-socket-gpu:63324:63324 [0] NCCL INFO NET/FastSocket : Using [0]ens12:10.240.0.24
fast-socket-gpu:63324:63324 [0] NCCL INFO NET/FastSocket plugin initialized
......

Controllare la larghezza di banda della rete

Quando si lavora con GPU con larghezza di banda elevata, è possibile utilizzare uno strumento per il traffico di rete, come iperf2, per misurare la larghezza di banda della rete.

Per verificare la velocità di larghezza di banda, sono necessarie almeno due VM con GPU collegate e che possano entrambe supportare la velocità di larghezza di banda che stai testando.

Utilizza iPerf per eseguire il benchmark su sistemi basati su Debian.

  1. Creare due VM in grado di supportare le velocità di larghezza di banda richieste.

  2. Quando entrambe le VM sono in esecuzione, utilizza SSH per connetterti a una delle VM.

    gcloud compute ssh VM_NAME \
    --project=PROJECT_ID

    Sostituisci quanto segue:

    • VM_NAME: il nome della prima VM
    • PROJECT_ID: il tuo ID progetto

  3. Sulla prima VM, completa questi passaggi:

    1. Installa iperf.

      sudo apt-get update && sudo apt-get install iperf

    2. Ottieni l'indirizzo IP interno per questa VM. Tieni traccia scrivendolo.

      ip a

    3. Avvia il server iPerf.

      iperf -s

      Questa operazione avvia un server di ascolto delle connessioni per eseguire il benchmark. Lascia questa opzione in esecuzione per tutta la durata del test.

  4. Da un nuovo terminale client, connettiti alla seconda VM tramite SSH.

    gcloud compute ssh VM_NAME \
   --project=PROJECT_ID

    Sostituisci quanto segue:

    • VM_NAME: il nome della seconda VM
    • PROJECT_ID: il tuo ID progetto

  5. Sulla seconda VM, completa questi passaggi:

    1. Installa iPerf.

      sudo apt-get update && sudo apt-get install iperf

    2. Esegui il test iperf e specifica l'indirizzo IP della prima VM come destinazione.

      iperf -t 30 -c internal_ip_of_instance_1 -P 16

      Questa operazione esegue un test di 30 secondi e produce un risultato simile al seguente. Se iPerf non riesce a raggiungere l'altra VM, potrebbe essere necessario modificare le impostazioni di rete o del firewall sulle VM o magari nella console Google Cloud.

Quando utilizzi la larghezza di banda massima disponibile di 100 Gbps o 1000 Gbps (A3), tieni presente le seguenti considerazioni:

  • A causa dell'overhead dell'intestazione per protocolli come Ethernet, IP e TCP nello stack di virtualizzazione, la velocità effettiva, misurata da netperf, è pari a circa 90 Gbps o 800 Gbps (A3). Generalmente noto come goodput.

    TCP è in grado di raggiungere la velocità di rete di 100 o 1000 Gbps. Altri protocolli, come UDP, sono più lenti.

  • A causa di fattori quali l'overhead del protocollo e la congestione della rete, le prestazioni end-to-end dei flussi di dati potrebbero essere leggermente inferiori.

  • Devi utilizzare più flussi TCP per ottenere la larghezza di banda massima tra le istanze VM. Google consiglia da 4 a 16 stream. Con 16 flussi massimizzerai spesso la velocità effettiva. A seconda dello stack di applicazioni e software, potrebbe essere necessario regolare le impostazioni per l'applicazione o il codice per configurare più flussi.

Che cosa succede dopo?