Creare e utilizzare le scansioni del profilo dati

Questa pagina mostra come creare una scansione del profilo dati utilizzando la console Google Cloud, Google Cloud CLI o l'API REST.

Per saperne di più sulle analisi dei profili dati Dataplex, consulta Informazioni sulla profilazione dei dati.

Prima di iniziare

Nella console Google Cloud, abilita l'API Dataplex.

Abilitare l'API

Autorizzazioni

Per profilare le tabelle BigQuery, devi disporre delle seguenti autorizzazioni:

  • Per eseguire l'analisi del profilo di dati su una tabella BigQuery, devi disporre dell'autorizzazione per leggere la tabella BigQuery e dell'autorizzazione per creare un job BigQuery nel progetto utilizzato per la scansione della tabella.

  • Se la tabella BigQuery e l'analisi del profilo dati si trovano in progetti diversi, devi concedere all'account di servizio Dataplex l'autorizzazione di lettura nella tabella BigQuery corrispondente.

  • Se i dati BigQuery sono organizzati in un lago Dataplex, per creare una scansione del profilo dati sono necessari i ruoli Dataplex roles/dataplex.metadataReader e roles/dataplex.viewer. Questo ruolo concede le seguenti autorizzazioni:

    • dataplex.lakes.list
    • dataplex.lakes.get
    • dataplex.zones.list
    • dataplex.zones.get
    • dataplex.entities.list
    • dataplex.entities.get
    • dataplex.operations.get

  • Se stai analizzando una tabella BigQuery esterna da Cloud Storage, assegna all'account di servizio Dataplex il ruolo Visualizzatore oggetti Cloud Storage (roles/storage.objectViewer) o le seguenti autorizzazioni per il bucket:

    • storage.buckets.get
    • storage.objects.get

  • Se vuoi pubblicare i risultati della scansione del profilo dati nelle pagine BigQuery e Data Catalog nella console Google Cloud per le tabelle di origine, devi disporre del ruolo IAM Editor dati BigQuery (roles/bigquery.dataEditor) o dell'autorizzazione bigquery.tables.update nella tabella.

  • Per esportare i risultati della scansione in una tabella BigQuery, il tuo account di servizio Dataplex deve avere il ruolo Editor dati BigQuery (roles/bigquery.dataEditor). Questo ruolo concede le seguenti autorizzazioni:

    • bigquery.datasets.get
    • bigquery.tables.create
    • bigquery.tables.get
    • bigquery.tables.getData
    • bigquery.tables.update
    • bigquery.tables.updateData

  • Se devi accedere alle colonne protette dai criteri di accesso a livello di colonna di BigQuery, assegna le autorizzazioni dell'account di servizio Dataplex per queste colonne. L'utente che crea o aggiorna una scansione dei dati deve avere anche le autorizzazioni per le colonne.

  • Se in una tabella sono abilitati i criteri di accesso a livello di riga di BigQuery, puoi analizzare solo le righe visibili all'account di servizio Dataplex. Tieni presente che i privilegi di accesso del singolo utente non vengono valutati per i criteri a livello di riga.

Ruoli e autorizzazioni dell'analisi dei dati

Per utilizzare la profilazione dei dati, un amministratore del progetto assegna un ruolo predefinito con autorizzazioni già concesse o concede autorizzazioni individuali. I ruoli sono i seguenti:

  • roles/dataplex.dataScanAdmin: accesso completo a DataScan risorse.
  • roles/dataplex.dataScanEditor: accesso in scrittura alle risorse DataScan.
  • roles/dataplex.dataScanViewer: accesso in lettura alle risorse DataScan, esclusi i risultati.
  • roles/dataplex.dataScanDataViewer: accesso in lettura alle risorse DataScan, inclusi i risultati.

Nella tabella seguente sono elencate le autorizzazioni per la scansione dei dati:

Nome autorizzazione Concede l'autorizzazione per:
dataplex.datascans.create Crea un DataScan
dataplex.datascans.delete Elimina un DataScan
dataplex.datascans.get Visualizza DataScan dettagli esclusi i risultati
dataplex.datascans.getData Visualizza i dettagli su DataScan, inclusi i risultati
dataplex.datascans.list Elenco DataScan
dataplex.datascans.run Esegui un DataScan
dataplex.datascans.update Aggiorna la descrizione di un DataScan
dataplex.datascans.getIamPolicy Visualizza le autorizzazioni IAM attuali sulla scansione
dataplex.datascans.setIamPolicy Imposta le autorizzazioni IAM sulla scansione

Crea una scansione del profilo di dati

Console

  1. Nella console Google Cloud, vai alla pagina Profilo.

    Vai al profilo Dataplex

  2. Fai clic su Crea analisi del profilo di dati.

  3. Inserisci un Nome visualizzato.

  4. Per modificare l'ID scansione generato automaticamente, forniscine uno. Vedi Convenzione di denominazione delle risorse.

  5. (Facoltativo) Inserisci una descrizione.

  6. Nel campo Tabella, fai clic su Sfoglia.

  7. Scegli una tabella e fai clic su Seleziona.

  8. Nel campo Ambito, scegli Incremento o Dati completi.

    • Se scegli Dati incrementali, nel campo Colonna timestamp, seleziona una colonna di tipo DATE o TIMESTAMP dalla tabella BigQuery che aumenti in modo monotonico e possa essere utilizzata per identificare nuovi record. Per le tabelle partizionate in una colonna di tipo DATE o TIMESTAMP, consigliamo di utilizzare la colonna di partizione come campo timestamp.

  9. Per applicare il campionamento alla scansione del profilo dati, seleziona una percentuale di campionamento nell'elenco Dimensioni campionamento.

    • Scegli un valore percentuale compreso tra 0,0% e 100,0%, con un massimo di tre cifre decimali.
    • Per set di dati più grandi, scegli una percentuale di campionamento più bassa. Ad esempio, per una tabella da ~1 PB, se inserisci un valore compreso tra 0,1% e 1,0%, Dataplex campiona tra 1 e 10 TB di dati.
    • Per restituire un risultato, sono necessari almeno 100 record nei dati campionati.
    • Per le scansioni incrementali dei dati, Dataplex applica il campionamento all'incremento più recente.

  10. Per filtrare in base alla riga, fai clic su Filtri e seleziona Filtra righe.

  11. (Facoltativo) Fai clic su Filtri. Seleziona la casella di controllo Filtra colonne.

    a. Nel campo Includi colonne, fai clic su Sfoglia.

    • Specifica le colonne da includere nella scansione del profilo. Scegli le colonne desiderate selezionando le caselle e facendo clic su Seleziona.

    b. Nel campo Escludi colonne, fai clic su Sfoglia.

    • Specifica le colonne da escludere dalla scansione del profilo. Scegli le colonne desiderate selezionando le caselle e facendo clic su Seleziona.

  12. (Facoltativo) Pubblica i risultati della scansione del profilo dati nelle pagine BigQuery e Data Catalog della console Google Cloud per la tabella di origine. Fai clic sulla casella di controllo Pubblica risultati nell'interfaccia utente del catalogo di BigQuery e Dataplex.

    Puoi visualizzare gli ultimi risultati dell'analisi nella scheda Profilo dati delle pagine BigQuery e Data Catalog per la tabella di origine. Per consentire agli utenti di accedere ai risultati della scansione pubblicati, consulta Condividere i risultati pubblicati.

    L'opzione di pubblicazione potrebbe non essere disponibile nei seguenti casi:

    • Non disponi delle autorizzazioni richieste per la tabella.
    • È impostata un'altra analisi della qualità dei dati per pubblicare i risultati.

    Per ulteriori informazioni sulle autorizzazioni necessarie per visualizzare i risultati pubblicati, consulta Autorizzazioni.

  13. (Facoltativo) Esporta i risultati dell'analisi in una tabella standard BigQuery. Fai clic su Sfoglia per selezionare un set di dati BigQuery esistente in cui archiviare i risultati della scansione del profilo dati.

    Se la tabella specificata non esiste, Dataplex la crea per te. Se utilizzi una tabella esistente, assicurati che sia compatibile con lo schema della tabella descritto più avanti in questa sezione.

  14. (Facoltativo) Aggiungi etichette. Le etichette sono coppie di key:value che consentono di raggruppare gli oggetti correlati tra loro o con altre risorse Google Cloud.

  15. In Opzioni di pianificazione, scegli una delle seguenti opzioni:

    • Ripeti: esegui il job di analisi del profilo dati in base a una pianificazione: giornaliera, settimanale, mensile o personalizzata. Specifica la frequenza e l'ora di esecuzione della scansione. Se scegli l'opzione personalizzata, utilizza il formato cron per specificare la pianificazione.

    • On demand: crea la scansione del profilo dati ed eseguila in qualsiasi momento utilizzando l'azione Esegui ora.

  16. Fai clic su Crea.

gcloud

Per creare una scansione del profilo dati, esegui questo comando:

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY
| --data-source-resource=DATA_SOURCE_RESOURCE

Sostituisci le seguenti variabili:

  • DATASCAN: nome della scansione del profilo di dati.
  • LOCATION: la regione Google Cloud in cui creare la scansione del profilo dati.
  • DATA_SOURCE_ENTITY: l'entità Dataplex che contiene i dati per la scansione del profilo dati. Ad esempio, projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity.
  • DATA_SOURCE_RESOURCE: il nome della risorsa che contiene i dati per la scansione del profilo dati. Ad esempio, //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.

Per gli argomenti facoltativi, consulta il riferimento per l'interfaccia a riga di comando gcloud.

REST

Utilizza Explorer API per creare una scansione del profilo dati.

Crea più scansioni del profilo dati

Console

  1. Nella console Google Cloud, vai alla pagina Profilo.

    Vai al profilo Dataplex

  2. Fai clic su Crea più scansioni del profilo.

  3. Inserisci un prefisso ID. Dataplex genera automaticamente gli ID di scansione utilizzando il prefisso e i suffissi univoci forniti.

  4. Inserisci una descrizione per tutte le scansioni del profilo dati.

  5. Nel campo Set di dati, fai clic su Sfoglia. Seleziona un set di dati da cui scegliere le tabelle. Fai clic su Seleziona.

  6. Se il set di dati riguarda più regioni, seleziona una regione in cui creare le analisi del profilo dati.

  7. Seleziona Opzioni di configurazione comuni:

    1. Nel campo Ambito, scegli Incremento o Dati completi.

    2. Per applicare il campionamento alle scansioni del profilo dati, seleziona una percentuale di campionamento nell'elenco Dimensioni campionamento.

      Scegli un valore percentuale compreso tra 0,0% e 100,0% con un massimo di tre cifre decimali.

    3. Per visualizzare i risultati di tutte le scansioni, seleziona Pubblicazione. Puoi visualizzare i risultati nella scheda Profilo dei dettagli della tabella BigQuery o Data Catalog. Assicurati di disporre delle autorizzazioni bigquery.tables.update per le tabelle di origine.

    4. In Opzioni di pianificazione, scegli una delle seguenti opzioni:

      1. Ripeti: esegui i job di scansione del profilo dati in base a una pianificazione. Specifica la frequenza di esecuzione della scansione (giornaliera, settimanale, mensile o personalizzata) e a che ora. Se scegli l'opzione personalizzata, utilizza il formato cron per specificare la pianificazione.

      2. On demand: crea i job di scansione del profilo dati ed eseguili in qualsiasi momento facendo clic su Esegui.

  8. Nell'opzione Scegli tabelle, fai clic su Sfoglia. Scegli una o più tabelle da analizzare. Fai clic su Seleziona.

  9. Seleziona Impostazioni aggiuntive:

    1. Per salvare i risultati delle analisi del profilo dati in una tabella BigQuery a tua scelta, scegli una tabella in Esportare i risultati della scansione in una tabella BigQuery. Dataplex copia e salva automaticamente i risultati in questa tabella per ogni job di scansione.

      1. Fai clic su Sfoglia per selezionare un set di dati.

      2. Inserisci una tabella BigQuery in cui salvare i risultati. Può essere una tabella esistente, utilizzata da altre analisi del profilo dati Dataplex per salvare i risultati. Se non esiste una tabella di questo tipo con il nome specificato, Dataplex crea la tabella.

    2. Aggiungi etichette per annotare la scansione del profilo dati.

  10. Fai clic su Esegui scansione per creare ed eseguire tutte le scansioni. Questa opzione è disponibile solo per le analisi on demand.

  11. Fai clic su Crea per creare tutte le scansioni.

gcloud

Non supportati.

REST

Non supportati.

Esporta schema tabella

Se vuoi esportare i risultati della scansione del profilo dati in una tabella BigQuery esistente, assicurati che sia compatibile con lo schema della tabella seguente:

Nome colonna Tipo di dati della colonna Nome campo secondario
(se applicabile)		 Tipo di dati del sottocampo Modalità Esempio
data_profile_scan struct/record resource_name string null //dataplex.googleapis.com/projects/test-project/locations/europe-west2/datascans/test-datascan
project_id string null test-project
location string null us-central1
data_scan_id string null test-datascan
data_source struct/record resource_name string null Caso entità:
//dataplex.googleapis.com/projects/test-project/locations/europe-west2/lakes/test-lake/zones/test-zone/entities/test-entity

Caso tabella: //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table
dataplex_entity_project_id string null test-project
dataplex_entity_project_number integer null 123456789012
dataplex_lake_id string null (Valido solo se l'origine è un'entità)
test-lake
dataplex_zone_id string null (Valido solo se l'origine è un'entità)
test-zone
dataplex_entity_id string null (Valido solo se l'origine è un'entità)
test-entity
table_project_id string null dataplex-table
table_project_number int64 null 345678901234
dataset_id string null (Valido solo se l'origine è una tabella)
test-dataset
table_id string null (Valido solo se l'origine è una tabella)
test-table
data_profile_job_id string null caeba234-cfde-4fca-9e5b-fe02a9812e38
data_profile_job_configuration json trigger string null ondemand/schedule
incremental boolean null true/false
sampling_percent float null (0-100)
20.0 (indica il 20%)
row_filter string null col1 >= 0 AND col2 < 10
column_filter json null {"include_fields":["col1","col2"], "exclude_fields":["col3"]}
job_labels json null {"key1":value1}
job_start_time timestamp null 2023-01-01 00:00:00 UTC
job_end_time timestamp null 2023-01-01 00:00:00 UTC
job_rows_scanned integer null 7500
column_name string null column-1
column_type string null string
column_mode string null repeated
percent_null float null (0,0-100,0)
20.0 (indica il 20%)
percent_unique float null (0,0-100,0)
92.5
min_string_length integer null (Valido solo se il tipo di colonna è stringa)
10
max_string_length integer null (Valido solo se il tipo di colonna è stringa)
4
average_string_length float null (Valido solo se il tipo di colonna è stringa)
7.2
min_value float null (Valido solo se il tipo di colonna è numerico - numero intero/float)
max_value float null (Valido solo se il tipo di colonna è numerico - numero intero/float)
average_value float null (Valido solo se il tipo di colonna è numerico - numero intero/float)
standard_deviation float null (Valido solo se il tipo di colonna è numerico - numero intero/float)
quartile_lower integer null (Valido solo se il tipo di colonna è numerico - numero intero/float)
quartile_median integer null (Valido solo se il tipo di colonna è numerico - numero intero/float)
quartile_upper integer null (Valido solo se il tipo di colonna è numerico - numero intero/float)
top_n struct/record - repeated value string null "4009"
count integer null 20
percent float null 10 (indica il 10%)

Esporta configurazione tabella

Quando esporti nelle tabelle BigQueryExport, segui queste linee guida:

  • Per il campo resultsTable, utilizza il formato: //bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}.
  • Utilizza una tabella standard BigQuery.
  • Se la tabella non esiste quando viene creata o aggiornata la scansione, Dataplex crea la tabella automaticamente.
  • Per impostazione predefinita, la tabella è partizionata ogni giorno nella colonna job_start_time.
  • Se vuoi che la tabella sia partizionata in altre configurazioni o se non vuoi la partizione, ricrea la tabella con lo schema e le configurazioni richiesti e poi fornisci la tabella già creata come tabella dei risultati.
  • Assicurati che la tabella dei risultati si trovi nella stessa posizione della tabella di origine.
  • Se nel progetto è configurata una rete VPC-SC, la tabella dei risultati deve trovarsi nello stesso perimetro VPC-SC della tabella di origine.
  • Se la tabella viene modificata durante la fase di esecuzione della scansione, il job attuale in esecuzione esporta nella tabella dei risultati precedente e la modifica alla tabella diventa effettiva dal job di scansione successivo.
  • Non modificare lo schema della tabella. Se hai bisogno di colonne personalizzate, crea una visualizzazione nella tabella.
  • Per ridurre i costi, imposta una scadenza per la partizione in base al caso d'uso. Per maggiori informazioni, vedi come impostare la scadenza della partizione.

Esecuzione di una scansione del profilo di dati

Console

  1. Nella console Google Cloud, vai alla pagina Profilo Dataplex. Vai a Profilo
  2. Fai clic sulla scansione del profilo dati da eseguire.
  3. Fai clic su Esegui ora.

gcloud

Per eseguire una scansione del profilo dati, esegui questo comando:

gcloud dataplex datascans run DATASCAN \
--location=LOCATION

Sostituisci le seguenti variabili:

  • DATASCAN: nome della scansione del profilo di dati.
  • LOCATION: la regione Google Cloud in cui è stata creata la scansione del profilo di dati.

Per gli argomenti facoltativi, consulta il riferimento per l'interfaccia a riga di comando gcloud.

REST

Utilizza Explorer API per eseguire la scansione del profilo dati.

Visualizzare i risultati del job di scansione del profilo dati

Console

Tutte le analisi del profilo dati che crei vengono visualizzate nella pagina Profilo.

Per visualizzare i risultati dettagliati di una scansione, fai clic sul nome dell'analisi.

  • La sezione Panoramica mostra le esecuzioni della scansione, l'ora di ogni esecuzione, il numero di record di tabella analizzati e lo stato del job.

  • La sezione Configurazione della scansione del profilo contiene i dettagli della scansione.

gcloud

Per visualizzare i risultati di un job di scansione del profilo dati, esegui questo comando:

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Sostituisci le seguenti variabili:

  • JOB: l'ID del job di scansione del profilo dati.
  • LOCATION: la regione Google Cloud in cui è stata creata la scansione del profilo di dati.
  • DATASCAN: il nome della scansione del profilo dati a cui appartiene il job.
  • --view=FULL: per visualizzare il risultato del job di scansione, specifica FULL.

Per gli argomenti facoltativi, consulta il riferimento per l'interfaccia a riga di comando gcloud.

REST

Utilizza Explorer API per visualizzare i risultati di una scansione del profilo dati.

Visualizza il job di scansione del profilo dati più recente

Console

La scheda Risultati più recenti del job, quando è presente almeno un'esecuzione completata correttamente, fornisce informazioni sul job più recente. Elenca le colonne della tabella analizzata e le statistiche relative alle colonne trovate nell'analisi.

gcloud

Per visualizzare l'ultima scansione riuscita del profilo dati, esegui questo comando:

gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

Sostituisci le seguenti variabili:

  • DATASCAN: il nome della scansione del profilo dati per visualizzare il job più recente.
  • LOCATION: la regione Google Cloud in cui è stata creata la scansione del profilo dati.
  • --view=FULL: per visualizzare il risultato del job di scansione, specifica FULL.

Per gli argomenti facoltativi, consulta il riferimento per l'interfaccia a riga di comando gcloud.

REST

Utilizza Explorer API per visualizzare il job di scansione più recente.

Visualizza tutti i job di scansione del profilo dati

Dataplex salva la cronologia di analisi dei profili dati degli ultimi 300 job o dell'ultimo anno, a seconda dell'evento che si verifica per primo.

Console

La scheda Cronologia dei job fornisce informazioni sui job precedenti. Elenca tutti i job, il numero di record analizzati in ogni job, lo stato del job, il tempo di esecuzione del job e altro ancora.

Per visualizzare informazioni dettagliate su un job, fai clic su uno dei job in ID job.

gcloud

Per visualizzare tutti i job di una scansione del profilo dati, esegui questo comando:

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

Sostituisci le seguenti variabili:

  • LOCATION: la regione Google Cloud in cui è stata creata la scansione del profilo dati.
  • DATASCAN: il nome della scansione del profilo dati per visualizzare tutti i job.

Per gli argomenti facoltativi, consulta il riferimento per l'interfaccia a riga di comando gcloud.

REST

Utilizza Explorer API per visualizzare tutti i job di scansione.

Condividi i risultati pubblicati

Durante la creazione di una scansione del profilo dati, se hai scelto di pubblicare i risultati dell'analisi nelle pagine BigQuery e Data Catalog della console Google Cloud, i risultati dell'analisi più recenti saranno disponibili nella scheda Profilo dati di queste pagine.

Puoi consentire agli utenti della tua organizzazione di accedere ai risultati dell'analisi pubblicati. Per concedere l'accesso ai risultati della scansione:

  1. Nella console Google Cloud, vai alla pagina Profilo.

    Vai al profilo Dataplex

  2. Fai clic sulla scansione del profilo di dati di cui vuoi condividere i risultati.

  3. Vai alla scheda Autorizzazioni.

  4. Fai clic su Concedi accesso.

  5. Nel campo Nuove entità, aggiungi l'entità a cui vuoi concedere l'accesso.

  6. Nel campo Seleziona un ruolo, scegli DataViewer DataScan Dataplex.

  7. Fai clic su Salva.

Per rimuovere l'accesso ai risultati dell'analisi pubblicati per un'entità, segui questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Profilo.

    Vai al profilo Dataplex

  2. Fai clic sulla scansione del profilo di dati di cui vuoi condividere i risultati.

  3. Vai alla scheda Autorizzazioni.

  4. Seleziona l'entità per cui vuoi rimuovere il ruolo DataViewer DataScan DataScan.

  5. Fai clic su Rimuovi accesso.

  6. Fai clic su Conferma.

Aggiorna una scansione del profilo di dati

Console

  1. Nella console Google Cloud, vai alla pagina Profilo.

    Vai al profilo Dataplex

  2. Nella riga con l'analisi da modificare, fai clic su > Modifica.

  3. Modifica i valori.

  4. Fai clic su Salva.

gcloud

Per aggiornare una scansione del profilo dati, esegui questo comando:

gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Sostituisci le seguenti variabili:

  • DATASCAN: il nome della scansione del profilo dati da aggiornare.
  • LOCATION: la regione Google Cloud in cui è stata creata la scansione del profilo dati.
  • DESCRIPTION: la nuova descrizione per la scansione del profilo di dati.

Per i campi delle specifiche da aggiornare, consulta il riferimento per l'interfaccia a riga di comando gcloud.

REST

Utilizza Explorer API per modificare una scansione del profilo dati.

Eliminare una scansione del profilo dati

Console

  1. Nella console Google Cloud, vai alla pagina Profilo. Vai a Profilo Dataplex.

  2. Fai clic sulla scansione da eliminare.

  3. Fai clic su Elimina.

gcloud

Per eliminare una scansione del profilo dati, esegui questo comando:

gcloud dataplex datascans delete \
DATASCAN --location=LOCATION \
--async

Sostituisci le seguenti variabili:

  • DATASCAN: il nome della scansione del profilo dati da eliminare.
  • LOCATION: la regione Google Cloud in cui è stata creata la scansione del profilo dati.

Per gli argomenti facoltativi, consulta il riferimento per l'interfaccia a riga di comando gcloud.

REST

Utilizza Explorer API per eliminare la scansione del profilo dati.

Che cosa succede dopo?