Membuat dan menggunakan Spot VM

Halaman ini menjelaskan cara membuat dan mengelola Spot VM, termasuk hal berikut:

• Cara membuat, memulai, dan mengidentifikasi Spot VM
• Cara mendeteksi, menangani, dan menguji preemption Spot VM
• Praktik terbaik untuk Spot VM

Spot VM adalah instance virtual machine (VM) dengan model penyediaan spot. Spot VM tersedia dengan diskon hingga 60-91% dibandingkan dengan harga VM standar. Namun, Compute Engine dapat mengklaim kembali resource dengan melakukan preemption terhadap Spot VM kapan saja. Spot VM direkomendasikan hanya untuk aplikasi fault-tolerant yang dapat menahan preemption VM. Pastikan aplikasi Anda dapat menangani preemption sebelum Anda memutuskan untuk membuat Spot VM.

Sebelum memulai

• Baca dokumentasi Spot VM:
• Tinjau batasan dan pricing Spot VM.
• Agar Spot VM tidak menggunakan kuota Anda untuk CPU, GPU, dan disk VM standar, pertimbangkan untuk meminta kuota yang dapat dihentikan untuk Spot VM.
• Siapkan autentikasi, jika Anda belum melakukannya. Autentikasi adalah proses verifikasi identitas Anda untuk akses ke layanan dan API Google Cloud. Untuk menjalankan kode atau contoh dari lingkungan pengembangan lokal, Anda dapat melakukan autentikasi ke Compute Engine sebagai berikut.
  

  Pilih tab untuk melihat bagaimana Anda berencana menggunakan contoh di halaman ini:

  Konsol

  Saat menggunakan Konsol Google Cloud untuk mengakses API dan layanan Google Cloud, Anda tidak perlu menyiapkan autentikasi.

  gcloud

  1. Instal Google Cloud CLI, lalu initialize dengan menjalankan perintah berikut:

     gcloud init

  2. Menetapkan region dan zona default.

  Terraform

  Untuk menggunakan contoh Terraform di halaman ini dari lingkungan pengembangan lokal, instal dan lakukan inisialisasi gcloud CLI, lalu siapkan Kredensial Default Aplikasi dengan kredensial pengguna Anda.

  1. Menginstal Google Cloud CLI.

  2. Untuk initialize gcloud CLI, jalankan perintah berikut:

     gcloud init

  3. Buat kredensial autentikasi lokal untuk Akun Google Anda:

     gcloud auth application-default login

  Untuk informasi selengkapnya, lihat Siapkan autentikasi untuk lingkungan pengembangan lokal.

  REST

  Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

  Instal Google Cloud CLI, lalu initialize dengan menjalankan perintah berikut:

  gcloud init

Membuat Spot VM

Buat Spot VM menggunakan Konsol Google Cloud, gcloud CLI, atau Compute Engine API. Spot VM adalah VM yang dikonfigurasi untuk menggunakan model penyediaan spot:

• Model penyediaan VM disetel ke Spot di Konsol Google Cloud
• --provisioning-model=SPOT di gcloud CLI
• "provisioningModel": "SPOT" di Compute Engine API

gcloud compute instances create VM_NAME \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION

gcloud compute instances create VM_NAME \
    --provisioning-model=SPOT \
    [--image=IMAGE | --image-family=IMAGE_FAMILY] \
    --image-project=IMAGE_PROJECT \
    --machine-type=MACHINE_TYPE \
    --instance-termination-action=TERMINATION_ACTION

resource "google_compute_instance" "spot_vm_instance" {
  name         = "spot-instance-name"
  machine_type = "f1-micro"
  zone         = "us-central1-c"

  boot_disk {
    initialize_params {
      image = "debian-cloud/debian-11"
    }
  }

  scheduling {
    preemptible                 = true
    automatic_restart           = false
    provisioning_model          = "SPOT"
    instance_termination_action = "STOP"
  }

  network_interface {
    # A default network is created for all GCP projects
    network = "default"
    access_config {
    }
  }
}

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
 "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
 "name": "VM_NAME",
 "disks": [
   {
     "initializeParams": {
       "sourceImage": "projects/IMAGE_PROJECT/global/images/IMAGE"
     },
     "boot": true
   }
 ]
 "scheduling":
 {
     "provisioningModel": "SPOT",
     "instanceTerminationAction": "TERMINATION_ACTION"
 },
 ...
}

Untuk membuat beberapa Spot VM dengan properti yang sama, Anda dapat membuat template instance, dan menggunakan template tersebut untuk membuat grup instance terkelola (MIG). Untuk mengetahui informasi selengkapnya, baca praktik terbaik.

Memulai Spot VM

Seperti VM lainnya, Spot VM dimulai saat pembuatan. Demikian pula, jika Spot VM dihentikan, Anda dapat memulai ulang VM untuk melanjutkan status RUNNING. Anda dapat menghentikan dan memulai ulang Spot VM yang di-preempt sebanyak yang Anda inginkan, selama masih ada kapasitas. Untuk mengetahui informasi selengkapnya, baca Siklus proses instance VM.

Jika Compute Engine menghentikan satu atau beberapa Spot VM di cluster grup instance terkelola (MIG) atau Google Kubernetes Engine (GKE) penskalaan otomatis, grup akan memulai ulang VM saat resource tersedia kembali.

Mengidentifikasi model penyediaan dan tindakan penghentian VM

Identifikasi model penyediaan VM untuk melihat apakah VM tersebut adalah VM standar, Spot VM, atau preemptible VM. Untuk Spot VM, Anda juga dapat mengidentifikasi tindakan penghentian. Anda dapat mengidentifikasi model penyediaan dan tindakan penghentian VM menggunakan Google Cloud Console, gcloud CLI, atau Compute Engine API.

gcloud compute instances describe VM_NAME

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME

Menangani preemption dengan skrip penonaktifan

Saat Spot VM di-preempt oleh Compute Engine, Anda dapat menggunakan skrip penonaktifan untuk melakukan tindakan pembersihan sebelum setiap VM di-preempt. Misalnya, Anda dapat menghentikan dengan lancar proses yang sedang berjalan dan menyalin file checkpoint ke Cloud Storage.

Berikut adalah contoh skrip penonaktifan yang dapat Anda tambahkan ke Spot VM yang sedang berjalan atau Anda tambahkan saat membuat Spot VM baru. Skrip ini berjalan saat VM mulai dinonaktifkan, sebelum perintah kill normal dari sistem operasi akan menghentikan semua proses yang tersisa. Setelah menghentikan program yang diinginkan dengan lancar, skrip akan melakukan upload paralel terhadap file checkpoint ke bucket Cloud Storage.

#!/bin/bash

MY_PROGRAM="PROGRAM_NAME" # For example, "apache2" or "nginx"
MY_USER="LOCAL_USER"
CHECKPOINT="/home/$MY_USER/checkpoint.out"
GSUTIL_OPTS="-m -o GSUtil:parallel_composite_upload_threshold=32M"
BUCKET_NAME="BUCKET_NAME" # For example, "my-checkpoint-files" (without gs://)

echo "Shutting down!  Seeing if ${MY_PROGRAM} is running."

# Find the newest copy of $MY_PROGRAM
PID="$(pgrep -n "$MY_PROGRAM")"

if [[ "$?" -ne 0 ]]; then
  echo "${MY_PROGRAM} not running, shutting down immediately."
  exit 0
fi

echo "Sending SIGINT to $PID"
kill -2 "$PID"

# Portable waitpid equivalent
while kill -0 "$PID"; do
   sleep 1
done

echo "$PID is done, copying ${CHECKPOINT} to gs://${BUCKET_NAME} as ${MY_USER}"

su "${MY_USER}" -c "gsutil $GSUTIL_OPTS cp $CHECKPOINT gs://${BUCKET_NAME}/"

echo "Done uploading, shutting down."

Skrip ini mengasumsikan hal berikut:

• VM dibuat dengan setidaknya akses baca-tulis ke Cloud Storage. Untuk mengetahui petunjuk cara membuat VM dengan cakupan yang sesuai, baca dokumentasi autentikasi.

• Anda sudah memiliki bucket Cloud Storage dan izin untuk menulis ke bucket tersebut.

Untuk menambahkan skrip ini ke VM, konfigurasikan skrip agar berfungsi dengan aplikasi di VM Anda dan tambahkan ke metadata VM.

1. Salin atau download skrip penonaktifan:

   • Salin skrip penonaktifan sebelumnya setelah mengganti yang berikut:

     • PROGRAM_NAME adalah nama proses atau program yang ingin Anda hentikan. Misalnya apache2 atau nginx.
     • LOCAL_USER adalah nama pengguna yang Anda gunakan untuk login ke virtual machine.
     • BUCKET_NAME adalah nama bucket Cloud Storage tempat Anda ingin menyimpan file checkpoint program. Perlu diperhatikan bahwa dalam hal ini, nama bucket tidak diawali dengan gs://.

   • Download skrip penonaktifan ke workstation lokal, lalu ganti variabel berikut di file:

     • [PROGRAM_NAME] adalah nama proses atau program yang ingin Anda nonaktifkan. Misalnya apache2 atau nginx.
     • [LOCAL_USER] adalah nama pengguna yang Anda gunakan untuk login ke virtual machine.
     • [BUCKET_NAME] adalah nama bucket Cloud Storage tempat Anda ingin menyimpan file checkpoint program. Perlu diperhatikan bahwa dalam hal ini, nama bucket tidak diawali dengan gs://.

2. Tambahkan skrip penonaktifan ke VM baru atau VM yang ada.

Mendeteksi preemption Spot VM

Tentukan apakah Spot VM di-preempt oleh Compute Engine menggunakan Konsol Google Cloud, gcloud CLI, atau Compute Engine API.

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted"

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted AND targetLink:instances/BASE_INSTANCE_NAME"

NAME                  TYPE                         TARGET                                        HTTP_STATUS STATUS TIMESTAMP
systemevent-xxxxxxxx  compute.instances.preempted  us-central1-f/instances/example-instance-xxx  200         DONE   2015-04-02T12:12:10.881-07:00

gcloud compute operations describe SYSTEM_EVENT \
    --zone=ZONE

...
operationType: compute.instances.preempted
progress: 100
selfLink: https://compute.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/operations/systemevent-xxxxxxxx
startTime: '2015-04-02T12:12:10.881-07:00'
status: DONE
statusMessage: Instance was preempted.
...

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/operations

operationType="compute.instances.preempted"

operationType="compute.instances.preempted" AND
targetLink="https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME

{
  "kind": "compute#operation",
  "id": "15041793718812375371",
  "name": "systemevent-xxxxxxxx",
  "zone": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f",
  "operationType": "compute.instances.preempted",
  "targetLink": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/instances/example-instance",
  "targetId": "12820389800990687210",
  "status": "DONE",
  "statusMessage": "Instance was preempted.",
  ...
}

Atau, Anda dapat menentukan apakah VM di-preempt dari dalam VM itu sendiri. Hal ini berguna jika Anda ingin menangani penonaktifan karena preemption Compute Engine yang berbeda dengan penonaktifan normal dalam skrip penonaktifan. Untuk melakukannya, cukup periksa nilai preempted di server metadata dalam metadata default VM Anda.

Misalnya, gunakan curl dari dalam VM Anda guna mendapatkan nilai untuk preempted:

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted" -H "Metadata-Flavor: Google"
TRUE

Jika nilai ini TRUE, VM akan di-preempt oleh Compute Engine. Jika tidak, VM adalah FALSE.

Jika ingin menggunakannya di luar skrip penonaktifan, Anda dapat menambahkan ?wait_for_change=true ke URL. Tindakan ini menjalankan permintaan HTTP GET yang tidak berfungsi, yang hanya ditampilkan saat metadata telah berubah dan VM telah di-preempt.

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted?wait_for_change=true" -H "Metadata-Flavor: Google"
TRUE

Cara menguji setelan preemption

Anda dapat menjalankan skenario pemeliharaan tersimulasi di VM untuk memaksanya melakukan preempt. Gunakan fitur ini untuk menguji cara aplikasi Anda menangani Spot VM. Baca Menyimulasikan skenario pemeliharaan host untuk mempelajari cara menguji skenario pemeliharaan di instance Anda.

Anda juga dapat melakukan simulasi preemption VM dengan menghentikan instance VM, yang dapat digunakan sebagai pengganti simulasi skenario pemeliharaan dan menghindari batas kuota.

Praktik terbaik

Berikut ini beberapa praktik terbaik untuk membantu Anda memaksimalkan Spot VM.

• Menggunakan template instance. Daripada membuat Spot VM satu per satu, Anda dapat menggunakan template instance untuk membuat beberapa Spot VM dengan properti yang sama. Template instance diperlukan untuk menggunakan MIG. Atau, Anda juga dapat membuat beberapa Spot VM menggunakan Bulk Instance API.

• Menggunakan MIG untuk mendistribusikan Spot VM secara regional dan membuat ulang Spot VM secara otomatis. Gunakan MIG untuk membuat workload di Spot VM lebih fleksibel dan tangguh. Misalnya, gunakan MIG regional untuk mendistribusikan VM di beberapa zona, yang membantu mengurangi error ketersediaan resource. Selain itu, gunakan autohealing untuk membuat ulang Spot VM secara otomatis setelah di-preempt.

• Memilih jenis mesin yang lebih kecil. Resource untuk Spot VM berasal dari kelebihan dan pencadangan kapasitas Google Cloud. Kapasitas untuk Spot VM sering kali lebih mudah didapatkan untuk jenis mesin yang lebih kecil, yaitu jenis mesin dengan resource yang lebih sedikit, seperti vCPU dan memori. Anda mungkin menemukan lebih banyak kapasitas untuk Spot VM dengan memilih jenis mesin kustom yang lebih kecil, tetapi kapasitas bahkan lebih mungkin tersedia untuk jenis mesin yang telah ditetapkan dengan ukuran lebih kecil. Misalnya, dibandingkan dengan kapasitas untuk jenis mesin yang telah ditetapkan n2-standard-32, kapasitas untuk jenis mesin kustom n2-custom-24-96 lebih mungkin tersedia, tetapi kapasitas untuk jenis mesin yang telah ditetapkan n2-standard-16 bahkan lebih mungkin lagi tersedia.

• Menjalankan cluster Spot VM yang besar selain masa sibuk. Muatan pada pusat data Google Cloud bervariasi menurut lokasi dan waktu, tetapi umumnya paling rendah pada malam hari dan akhir pekan. Dengan demikian, malam hari dan akhir pekan adalah waktu terbaik untuk menjalankan cluster Spot VM yang besar.

• Mendesain aplikasi Anda agar mampu menangani fault dan preemption Anda harus siap dengan adanya perubahan pola preemption pada waktu yang berbeda. Misalnya, jika suatu zona mengalami pemadaman sebagian, sejumlah besar Spot VM dapat di-preempt untuk memberi ruang bagi VM standar yang perlu dipindahkan sebagai bagian dari pemulihan. Dalam jangka waktu yang singkat itu, tingkat preemption akan terlihat sangat berbeda dari hari lainnya. Jika aplikasi Anda berasumsi bahwa preemption selalu dilakukan dalam kelompok kecil, Anda mungkin tidak siap untuk peristiwa tersebut.

• Mencoba lagi membuat Spot VM yang telah di-preempt. Jika Spot VM Anda telah di-preempt, coba buat Spot VM baru satu atau dua kali sebelum beralih kembali ke VM standar. Bergantung pada persyaratan Anda, sebaiknya gabungkan VM standar dan Spot VM di cluster Anda untuk memastikan bahwa pekerjaan dilakukan dengan kecepatan yang memadai.

• Menggunakan skrip penonaktifan. Kelola pemberitahuan penonaktifan dan preemption dengan skrip penonaktifan yang dapat menyimpan progres tugas sehingga dapat melanjutkan tugas, bukan memulai dari awal.

Apa langkah selanjutnya?

• Menghubungkan ke instance VM.
• Pelajari skrip penonaktifan.
• Pelajari cara membatasi runtime VM.
• Pelajari template instance.
• Pelajari MIG.