Mendiagnosis Dataproc pada cluster GKE

Dataproc menyediakan perintah gcloud CLI dataproc Amerika diagnosa untuk membantu Anda memecahkan masalah Dataproc di cluster GKE dan masalah tugas. Perintah ini mengumpulkan dan mengarsipkan file konfigurasi, log, dan output terkait cluster ke dalam file arsip, lalu mengupload arsip tersebut ke bucket staging Cloud Storage yang Anda tentukan saat membuat Dataproc di cluster GKE.

Mendiagnosis file arsip

Tabel berikut mencantumkan metrik dan informasi lainnya yang disertakan dalam file arsip perintah dataproc clusters diagnose.

Informasi sistem

Item Lokasi arsip
Metrik node GKE tempat Dataproc virtual pada pod GKE dijalankan:
  • Penggunaan CPU
  • Penggunaan memori
 /system/NODE_NAME.json
Metrik jaringan dan status sistem file dari pod yang berjalan:
  • Penggunaan CPU
  • Penggunaan memori
  • Status jaringan
  • Status sistem file
 /system/POD_NAME.json

Informasi konfigurasi

Item Lokasi arsip
Konfigurasi cluster /conf/configmap
Deployment Kubernetes /conf/deployment
Kontrol Akses Berbasis Peran (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Log

Item Lokasi arsip
Log agen /logs/agent.log
Log mesin Spark /logs/sparkengine.log
Driver Spark yang menjalankan dan menyelesaikan log tugas selama 24 jam terakhir /logs/DRIVER_ID

Informasi tugas dan pod

Item Lokasi arsip
Objek JobSuccess /jobattempts
Objek Pod Kubernetes /pods

Untuk informasi selengkapnya