Utilizzare i risultati delle query memorizzati nella cache
BigQuery scrive tutti i risultati delle query in una tabella. La tabella è esplicitamente identificata dall'utente (una tabella di destinazione) o è una tabella dei risultati temporanea memorizzata nella cache. Se esegui di nuovo la stessa query, BigQuery restituisce i risultati dalla tabella memorizzata nella cache, se esistente. Le tabelle dei risultati temporanee memorizzate nella cache vengono gestite per utente e per progetto. A seconda della versione, potresti avere accesso ai risultati memorizzati nella cache di altri utenti che eseguono query nello stesso progetto. Non sono previsti costi di archiviazione per le tabelle dei risultati delle query memorizzate nella cache, ma se scrivi i risultati delle query in una tabella permanente, ti viene addebitato un costo per l'storing dei dati.
Tutti i risultati delle query, incluse le query interattive e batch, vengono memorizzati nella cache in tabelle temporanee per circa 24 ore, con alcune eccezioni.
Limitazioni
L'utilizzo della cache delle query è soggetto alle seguenti limitazioni:
- Quando esegui una query duplicata, BigQuery tenta di riutilizzare i risultati memorizzati nella cache. Per recuperare i dati dalla cache, il testo della query duplicata deve essere uguale alla query originale.
- Affinché i risultati delle query vengano mantenuti in una tabella dei risultati memorizzati nella cache, il set di risultati deve essere più piccolo della dimensione massima della risposta. Per ulteriori informazioni sulla gestione di set di risultati di grandi dimensioni, consulta Restituzione di risultati di query di grandi dimensioni.
- Non puoi scegliere come target le tabelle di risultati memorizzate nella cache con istruzioni DML.
- Sebbene la semantica corrente lo consenta, si sconsiglia di utilizzare i risultati memorizzati nella cache come input per i job dipendenti. Ad esempio, non devi inviare job di query che recuperano risultati dalla tabella cache. scrivi invece i risultati in una tabella di destinazione denominata. Per semplificare la pulizia, funzionalità come la proprietà a livello di set di dati
defaultTableExpirationMs
possono far scadere i dati automaticamente dopo un determinato periodo di tempo.
Prezzi e quote
I risultati delle query memorizzati nella cache vengono archiviati come tabelle temporanee. Non ti viene addebitato alcun costo per l'archiviazione dei risultati delle query memorizzati nella cache in tabelle temporanee. Quando i risultati della query vengono recuperati da una tabella dei risultati memorizzata nella cache, la proprietà delle statistiche del job statistics.query.cacheHit
restituisce true
e non ti viene addebitato alcun costo per la query. Anche se non ti vengono addebitati costi per le query che utilizzano i risultati memorizzati nella cache, le query sono soggette ai
criteri delle quote di BigQuery.
Oltre a ridurre i costi, le query che utilizzano i risultati memorizzati nella cache sono molto più veloci perché BigQuery non ha bisogno di calcolare il set di risultati.
Eccezioni alla memorizzazione nella cache delle query
I risultati della query non vengono memorizzati nella cache:
- Quando viene specificata una tabella di destinazione nella configurazione del job, nella console Google Cloud, lo strumento a riga di comando bq o l'API.
- Se una delle tabelle o delle visualizzazioni logiche a cui viene fatto riferimento è cambiata da quando i risultati erano stati precedentemente memorizzati nella cache.
- Quando una qualsiasi delle tabelle a cui fa riferimento la query ha ricevuto di recente inserimenti di flussi di dati (la tabella contiene dati nello spazio di archiviazione ottimizzato per la scrittura) anche se non sono arrivate nuove righe.
- Se la query utilizza funzioni non deterministiche, ad esempio funzioni di data e ora come
CURRENT_TIMESTAMP()
eCURRENT_DATE
e altre funzioni comeSESSION_USER()
, restituisce valori diversi a seconda di quando viene eseguita la query. - Se esegui una query su più tabelle utilizzando un carattere jolly.
- Se i risultati memorizzati nella cache sono scaduti, la durata tipica della cache è di 24 ore, ma i risultati nella cache fanno il possibile e potrebbero essere invalidati prima.
- Se la query viene eseguita su un'origine dati esterna, diversa da Cloud Storage. (le query GoogleSQL su Cloud Storage sono supportate dai risultati delle query memorizzati nella cache).
- Se la query viene eseguita su una tabella protetta dalla sicurezza a livello di riga, i risultati non vengono memorizzati nella cache.
- Se la query viene eseguita in una tabella protetta dalla sicurezza a livello di colonna, i risultati non possono essere memorizzati nella cache.
Come vengono memorizzati i risultati memorizzati nella cache
Quando esegui una query, viene creata una tabella dei risultati temporanea memorizzata nella cache in uno speciale
tipo di set di dati nascosto
denominato set di dati anonimo.
A differenza dei normali set di dati che ereditano le autorizzazioni dal modello di gerarchia delle risorse IAM (autorizzazioni di progetto e organizzazione), l'accesso ai set di dati anonimi è limitato al proprietario. Il proprietario di un set di dati anonimo è l'utente che ha eseguito la query che ha prodotto il risultato memorizzato nella cache. Inoltre, l'autorizzazione bigquery.jobs.create
viene verificata sul progetto per verificare che l'utente abbia accesso al progetto.
BigQuery non supporta la condivisione di set di dati anonimi. Se intendi condividere i risultati delle query, non utilizzare i risultati memorizzati nella cache, archiviati in un set di dati anonimo. Scrivi invece i risultati in una tabella di destinazione denominata.
Sebbene l'utente che esegue la query abbia accesso completo al set di dati e alla tabella dei risultati memorizzati nella cache, non è consigliabile utilizzarli come input per i job dipendenti.
I nomi dei set di dati anonimi iniziano con un trattino basso. In questo modo, vengono nascosti dall'elenco dei set di dati nella console Google Cloud. Puoi elencare set di dati anonimi e controllare i controlli di accesso a set di dati anonimi utilizzando lo strumento a riga di comando bq o l'API.
Per ulteriori informazioni su come elencare e ottenere informazioni sui set di dati, inclusi quelli anonimi, consulta la pagina Elenco di set di dati.
Memorizzazione nella cache per più utenti
Se utilizzi l'edizione Enterprise o Enterprise Plus e disponi delle autorizzazioni necessarie per eseguire una query memorizzata nella cache nel tuo progetto per un altro utente, BigQuery produce il risultato memorizzato nella cache. Il risultato memorizzato nella cache viene copiato nel tuo set di dati anonimo personale e rimane lì per 24 ore da quando hai eseguito la query. Alla memorizzazione nella cache per più utenti si applicano gli stessi limiti e le stesse eccezioni.
Disattivazione del recupero dei risultati memorizzati nella cache
L'opzione Utilizza risultati memorizzati nella cache riutilizza i risultati di un'esecuzione precedente della stessa query, a meno che le tabelle oggetto della query non siano state modificate. L'uso dei risultati memorizzati nella cache è utile solo per le query ripetute. Per le nuove query, l'opzione Utilizza risultati nella cache non ha alcun effetto, anche se è abilitata per impostazione predefinita.
Quando ripeti una query con l'opzione Utilizza risultati memorizzati nella cache disabilitata, il risultato esistente memorizzato nella cache viene sovrascritto. Questo richiede BigQuery per calcolare il risultato della query e ti viene addebitato il costo della query. Ciò è particolarmente utile negli scenari di benchmarking.
Se vuoi disabilitare il recupero dei risultati memorizzati nella cache e forzare la valutazione in tempo reale di un job di query, puoi impostare la proprietà configuration.query.useQueryCache
del job di query su false
.
Per disattivare l'opzione Utilizza risultati memorizzati nella cache:
Console
Apri la console Google Cloud.
Vai alla pagina di BigQueryFai clic su Crea nuova query.
Inserisci una query SQL valida nell'area di testo Editor query.
Fai clic su Altro e seleziona Impostazioni query.
In Preferenza cache, deseleziona Utilizza risultati memorizzati nella cache.
bq
Utilizza il flag nouse_cache
per sovrascrivere la cache delle query. L'esempio seguente obbliga BigQuery a elaborare la query senza utilizzare i risultati esistenti memorizzati nella cache:
bq query \
--nouse_cache \
--batch \
'SELECT
name,
count
FROM
`my-project`.mydataset.names_2013
WHERE
gender = "M"
ORDER BY
count DESC
LIMIT
6'
API
Per elaborare una query senza utilizzare i risultati esistenti memorizzati nella cache, imposta la proprietà useQueryCache
su false
nella configurazione del job query
.
Go
Prima di provare questo esempio, segui le istruzioni per la configurazione di Go nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Go di BigQuery.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Java
Per elaborare una query senza utilizzare i risultati memorizzati nella cache esistenti,
imposta l'opzione Usa cache delle query
su false
durante la creazione di una
QueryJobConfiguration.
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java di BigQuery.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Node.js di BigQuery.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
PHP
Prima di provare questo esempio, segui le istruzioni per la configurazione di PHP nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API PHP di BigQuery.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Python di BigQuery.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Come garantire l'utilizzo della cache
Se utilizzi il metodo jobs.insert
per eseguire una query, puoi forzare l'esito negativo di un job di query a meno che non sia possibile utilizzare i risultati memorizzati nella cache
impostando la proprietà createDisposition
della configurazione del job query
su CREATE_NEVER
.
Se il risultato della query non esiste nella cache, viene restituito un errore NOT_FOUND
.
bq
Utilizza il flag --require_cache
per richiedere risultati dalla cache delle query. L'esempio seguente forza l'elaborazione della query da parte di BigQuery se i risultati sono presenti nella cache:
bq query \
--require_cache \
--batch \
'SELECT
name,
count
FROM
`my-project`.mydataset.names_2013
WHERE
gender = "M"
ORDER BY
count DESC
LIMIT
6'
API
Per elaborare una query con risultati memorizzati nella cache esistenti, imposta la proprietà createDisposition
su CREATE_NEVER
nella configurazione del job query
.
Verifica dell'utilizzo della cache
Utilizza uno dei seguenti metodi per determinare se BigQuery ha restituito un risultato utilizzando la cache:
- Utilizzare la console Google Cloud. Vai a Risultati delle query e fai clic su Informazioni job. Byte elaborati mostra 0 B (risultati memorizzati nella cache).
- Utilizza l'API BigQuery.
La proprietà
cacheHit
nel risultato della query è impostata sutrue
.
Impatto della sicurezza a livello di colonna
Per impostazione predefinita, BigQuery memorizza nella cache i risultati delle query per 24 ore, con le eccezioni indicate in precedenza. Le query relative a una tabella protetta dalla sicurezza a livello di colonna potrebbero non essere memorizzate nella cache. Se BigQuery memorizza nella cache il risultato, si applica la durata della cache di 24 ore.
Una modifica, ad esempio la rimozione di un gruppo o di un utente dal ruolo Lettore granulare di Data Catalog utilizzato per un tag di criteri, non invalida la cache di 24 ore. Una modifica al gruppo di controllo dell'accesso dell'accesso Lettore granulare di Data Catalog viene propagata immediatamente, ma non invalida la cache.
L'impatto è che, se un utente esegue una query, i relativi risultati rimangono visibili all'utente sullo schermo. L'utente può anche recuperare questi risultati dalla cache anche se ha perso l'accesso ai dati nelle ultime 24 ore.
Nelle 24 ore successive alla rimozione di un utente dal ruolo Lettore granulare Data Catalog per un tag di criteri, l'utente può accedere ai dati memorizzati nella cache solo per i dati che l'utente era autorizzato in precedenza a visualizzare. Se vengono aggiunte righe alla tabella, l'utente non può vedere le righe aggiunte, anche se i risultati sono memorizzati nella cache.