Misurare l'impatto della convalida degli indirizzi mediante un test A/B

Questo documento descrive le tecniche da considerare durante l'esecuzione di un test A/B delle API Place Autocomplete e Address Validation di Google Maps Platform.

Ecco un paio di vantaggi dell'utilizzo di Place Autocomplete e dell'API Address Validation:

  • Migliore esperienza del cliente: se fornisci ai tuoi clienti suggerimenti in tempo reale per indirizzi e luoghi, puoi aiutarli a completare la procedura di pagamento in modo più semplice e veloce. Questo può portare a una migliore customer experience.
  • Maggiore precisione dei dati: Place Autocomplete e l'API Address Validation possono aiutarti a migliorare l'accuratezza dei dati dei clienti. Questo aspetto può rivelarsi particolarmente importante nell'e-commerce, perché per la consegna corretta dei pacchi si fa affidamento su dati precisi degli indirizzi.

Per migliorare la qualità degli indirizzi, esegui un test A/B per valutare quale soluzione di convalida soddisfa meglio le tue esigenze. In questo modo, hai la possibilità di decidere quantitativamente il prodotto più adatto al tuo caso d'uso.

Un test A/B è un modo per confrontare due versioni di una pagina web o di un'app. È un tipo di esperimento controllato che viene utilizzato per determinare l'effetto di una modifica in una variabile su un risultato misurabile.
Per eseguire un test A/B, crea due versioni di una pagina o un'app, una come controllo e l'altra con la modifica misurabile. Poi mostri queste versioni a utenti diversi e misuri il modo in cui interagiscono con loro. La versione con le prestazioni migliori è quella vincente.

Panoramica dell'architettura di sistema

Diamo un'occhiata al test A/B Address Validation in un caso d'uso di e-commerce. Il diagramma dell'architettura seguente mostra in che modo un cliente potrebbe interagire con la tua esperienza commerciale, consentendoti di determinare la strategia di convalida più efficace.

[Contesto del sistema] Convalida degli indirizzi dei test A/B

I sistemi coinvolti durante il test A/B del valore dell'API Address Validation.

Il diagramma dell'architettura mostra un cliente al tuo sito web di e-commerce interagendo con il sistema di test A/B. Questo sistema decide quale variabile di test mostrare al cliente dal sistema software del negozio di e-commerce. Il negozio di e-commerce effettua una chiamata API al sistema software di Google Maps Platform. Raccoglie anche le analisi dei test A/B, che vengono elaborate da un sistema software di analisi e riportate al sistema di test A/B.

La procedura dei test A/B

Quando pensi al processo generale del test A/B, ci sono quattro fasi da considerare.

  • Preparazione: identifica i requisiti, l'ambito e la tempistica dei test.
  • Build - Implementa l'API Place Autocomplete e Address Validation in un ambiente su cui eseguire il test.
  • Esegui: raccogli metriche durante l'esecuzione del test, fino a quando non ottieni risultati significativi o fino alla scadenza del tempo.
  • Analizza: confronta i risultati con l'ipotesi e identifica i passaggi successivi.

Parleremo di ciascuno di questi uno dopo l'altro.

Preparazione

Decisione sui requisiti dei test A/B

Rilevamento iniziale

Chiediti: perché stai aggiungendo o modificando un fornitore di convalida degli indirizzi? Ad esempio, utilizzando il completamento automatico di Google Maps Places:

  • Risparmio tempo: non è necessario digitare il nome completo di un luogo quando puoi semplicemente iniziare a digitare e visualizzare i suggerimenti.
  • Riduce gli errori: se scrivi in modo errato il nome di un luogo, il completamento automatico dei luoghi di Google Maps suggerirà comunque il luogo corretto.

La convalida presenta numerosi vantaggi, tra cui:

  • Tariffe di consegna migliorate: la convalida dell'indirizzo può contribuire a migliorare le percentuali di consegna garantendo che posta e pacchi vengano inviati all'indirizzo corretto. Ciò consente alle aziende di risparmiare tempo e denaro e migliorare la soddisfazione del cliente.
  • Migliore qualità dei dati: la convalida degli indirizzi può contribuire a migliorare la qualità dei dati identificando e correggendo gli errori negli indirizzi. Ciò può migliorare l'accuratezza delle campagne di marketing e di altre iniziative basate sui dati.

Decidere l'ipotesi

Decidi l'ipotesi da verificare. Ecco due esempi:

1. Tasso di conversione

Quando aggiungi una soluzione di tipo già in anticipo, di solito si nota un leggero aumento dei tassi di conversione, che è una buona metrica da monitorare. Se stai modificando il tipo di soluzione in anticipo da un altro provider, dovresti aspettarti un tasso di conversione fisso. Se il tasso di conversione cala, la prima cosa da controllare è l'implementazione.

Il tasso di conversione è importante, ma potrebbe non fornire un quadro completo. L'aggiunta di una soluzione di convalida degli indirizzi è progettata per impedire alle persone di inviare indirizzi di scarsa qualità al punto di ingresso e potrebbe aggiungere un certo attrito naturale per risolvere il problema dell'acquisizione in alcuni scenari. Ciò potrebbe determinare una diminuzione dei tassi di conversione complessivi, ma non è necessariamente un aspetto negativo. Gli ordini non completati a causa dell'aggiunta della convalida dell'indirizzo potrebbero essere stati associati a dati sugli indirizzi di scarsa qualità che avrebbero comportato un costo per l'attività a causa degli storni di addebito nella consegna.

2. Riduzione degli indirizzi di scarsa qualità

È qui che una buona soluzione di convalida degli indirizzi può eccellere. Implementando Address Validation, dovresti notare una riduzione della scarsa qualità dei dati degli indirizzi.

Se stai confrontando una nuova soluzione con una esistente, potresti avere la tentazione di confrontare semplicemente i tassi di corrispondenza dell'"indirizzo valido" e selezionare il servizio che offre un tasso di corrispondenza più elevato. Questo può essere fuorviante perché un servizio potrebbe fornire più falsi positivi rispetto all'altro.

Invece, la metrica più efficace consiste nel confrontare il risultato positivo dell'utilizzo dei dati degli indirizzi. Prendendo come esempio l'e-commerce, il risultato desiderato per acquisire un indirizzo è l'eventuale consegna riuscita di un pacco.

Creare

Ora è la parte eccitante! È ora di creare una nuova soluzione per i tuoi clienti. Abbiamo già una guida pratica per l'implementazione di Place Autocomplete e API Address Validation in un pagamento e-commerce. Ti consigliamo di dare un'occhiata durante il completamento di questo passaggio.

Anche se non stai creando un'area dedicata all'e-commerce, molte informazioni sono comunque pertinenti, in particolare le indicazioni su come determinare la qualità degli indirizzi dall'output dell'API Address Validation.

Diagramma dell'architettura

Di seguito è riportato un esempio di container che possono essere utilizzati per creare un test A/B in un ambiente di e-commerce:

[Ambiente di esecuzione] Convalida degli indirizzi dei test A/B

le applicazioni, i servizi e gli archivi dati importanti, presenti nei sistemi chiave, alla base dell'architettura. (Fai clic per ingrandire.)

Il diagramma dell'architettura mostra i container che compongono il sistema software di test A/B e il sistema software delle app di e-commerce. Mostra un cliente al tuo sito web di e-commerce interagendo con un bilanciatore del carico, che lo indirizzerà all'app del sito web di e-commerce. A/B Test Manager comunica con il bilanciatore del carico per selezionare la variabile del test A/B da mostrare al cliente. Questo sistema di test A/B registra inoltre i risultati e la configurazione del test A/B in un database a tua scelta. L'app web di e-commerce effettua chiamate API al sistema software della piattaforma Google Maps e segnala anche gli eventi di analisi al sistema software di Analytics, che registra gli eventi del test nel database dei risultati dei test A/B.

Convalida dell'implementazione

Una soluzione non implementata correttamente produrrà risultati di test inaffidabili. Prima di eseguire il test A/B, è importante convalidare la soluzione con un piccolo gruppo di utenti per assicurarti che funzioni come previsto. Può trattarsi di tester del QA interni e/o di un gruppo selezionato di tester esterni, di cui ti fidi per fornire un feedback costruttivo.

Esegui

Aumento lento

Anche dopo che la soluzione è stata convalidata, è comunque una buona idea incrementare lentamente il test, iniziando con un piccolo gruppo di utenti. In questo modo, è possibile individuare subito eventuali bug o altri problemi e risolverli rapidamente senza influenzare un'ampia percentuale di utenti.

Test completo

Una volta che la soluzione è stata testata da un piccolo gruppo di utenti e gli eventuali problemi sono stati risolti, possiamo passare a un test A/B completo. Non è necessario che si tratti di una vera suddivisione 50/50 del traffico, ma le dimensioni devono essere comparabili a quelle di un insieme selezionato casualmente di utilizzo in tempo reale.

Acquisizione delle metriche

Durante il test, dovresti assicurarti che vengano acquisiti i dati appropriati a supporto della tua ipotesi. Puoi utilizzare una piattaforma di test A/B durante questo processo per facilitare la raccolta dei dati e le analisi successive. Google Maps Platform raccoglie anche metriche di utilizzo delle API che potrebbero esserti utili. Puoi consultare questa pagina per scoprire di più sull'utilizzo dei nostri strumenti di generazione dei report.

Ecco alcune metriche suggerite:

Place Autocomplete

Tasso di conversione: il tasso di conversione/completamento del modulo è migliorato rispetto all'assenza di una soluzione di completamento automatico in precedenza?
Interazione con lo strumento: più utenti interagiscono correttamente con Place Autocomplete rispetto alla soluzione precedente?

Convalida degli indirizzi

Consegna riuscita: è stata rilevata una riduzione delle consegne non riuscite a causa della qualità degli indirizzi?
Modifiche di indirizzo: è stata rilevata una riduzione del numero di addebiti per la modifica dell'indirizzo ricevuti dai corrieri?
Residenziale o commerciale: è stato migliorato l'acquisizione dei dati residenziali o commerciali? (solo in alcuni mercati)

Analizza

Ora che il test è terminato, è il momento di analizzare i risultati rispetto ai criteri e all'ipotesi del test originali. Se hai utilizzato una piattaforma di test A/B per completare la procedura, alcune informazioni potrebbero essere già disponibili.

Tornando alla sezione Riduzione di indirizzi di scarsa qualità qui sopra, puoi anche utilizzare altre metriche che potrebbero non essere state acquisite dalla piattaforma di test A/B. Potrebbe trattarsi della percentuale di pubblicazioni non riuscite tra gli scenari di test, con dati di esempio come i seguenti:

Soluzione A Soluzione B
Caricamenti non riusciti 1,75% 1,23%

Osservando l'esempio di base sopra riportato, è chiaro che per questo caso d'uso, la soluzione B sarebbe la scelta migliore.

Conclusione

Ci auguriamo che questa guida ti abbia fornito informazioni sufficienti per muovere i primi passi con i test A/B. Anche se ha utilizzato esempi tratti dall'ambito dell'e-commerce, gli stessi principi di base possono essere applicati a tutti. Individua il risultato positivo di una buona qualità dei dati per gestire i dati nella tua attività e tracciali come ipotesi principale.

Abbiamo incluso di nuovo i link menzionati nella guida di seguito, come suggerito per ulteriori letture.

Buon test!

Passaggi successivi

Scarica il white paper Migliora pagamento, consegna e operazioni con indirizzi affidabili e guarda il webinar Miglioramento di checkout, consegna e operazioni con Address Validation .

Ulteriori letture suggerite:

Collaboratori

Autori principali:

Henrik Valve | Solutions Engineer di Google Maps Platform