Mengukur dampak Validasi Alamat menggunakan pengujian A/B

Dokumen ini menjelaskan teknik yang perlu dipertimbangkan saat melakukan pengujian A/B untuk API Place Autocomplete dan Address Validation Google Maps Platform.

Beberapa manfaat penggunaan Place Autocomplete dan Address Validation API adalah sebagai berikut:

  • Pengalaman pelanggan yang lebih baik: Dengan memberikan saran real-time untuk alamat dan tempat kepada pelanggan, Anda dapat membantu mereka menyelesaikan checkout dengan lebih cepat dan mudah. Hal ini dapat menghasilkan pengalaman pelanggan yang lebih baik.
  • Akurasi data yang lebih baik: Place Autocomplete dan Address Validation API dapat membantu Anda meningkatkan akurasi data pelanggan. Hal ini sangat penting dalam e-commerce, karena data alamat yang akurat diandalkan untuk keberhasilan pengiriman paket.

Untuk meningkatkan kualitas alamat, jalankan pengujian A/B untuk mengevaluasi solusi validasi mana yang paling sesuai dengan kebutuhan Anda. Ini memberi Anda kesempatan untuk memutuskan secara kuantitatif produk mana yang paling sesuai untuk kasus penggunaan Anda.

Pengujian A/B adalah cara untuk membandingkan dua versi halaman web atau aplikasi satu sama lain. Ini adalah jenis eksperimen terkontrol yang digunakan untuk menentukan pengaruh perubahan pada variabel pada hasil yang terukur.
Untuk melakukan pengujian A/B, buat dua versi halaman atau aplikasi, satu sebagai kontrol dan satu lagi dengan perubahan terukur. Kemudian, Anda menampilkan versi tersebut kepada pengguna yang berbeda dan mengukur cara mereka berinteraksi dengan versi tersebut. Versi yang berperforma lebih baik adalah pemenangnya.

Ringkasan Arsitektur Sistem

Mari kita lihat Validasi Alamat pengujian A/B dalam kasus penggunaan e-commerce. Diagram arsitektur di bawah ini menunjukkan bagaimana pelanggan akan berinteraksi dengan pengalaman commerce Anda sehingga memungkinkan Anda untuk menentukan strategi validasi yang lebih efektif.

[Konteks Sistem] Validasi Alamat Pengujian A/B

Sistem yang terlibat saat melakukan pengujian A/B pada nilai Address Validation API.

Diagram arsitektur menunjukkan pelanggan yang mengunjungi situs e-commerce Anda yang berinteraksi dengan Sistem Pengujian A/B. Sistem ini membuat keputusan variabel pengujian mana yang akan ditampilkan kepada pelanggan, dari sistem software toko e-commerce. Toko e-commerce melakukan panggilan API ke sistem software Google Maps Platform. Alat ini juga mengumpulkan analisis pengujian A/B, yang diproses oleh sistem software analisis, dan dilaporkan kembali ke sistem pengujian A/B.

Proses pengujian A/B

Saat Anda berpikir tentang proses pengujian A/B secara keseluruhan, ada empat tahap yang perlu dipertimbangkan.

  • Persiapan - Identifikasi persyaratan, cakupan, dan skala waktu pengujian.
  • Buat - Menerapkan Place Autocomplete dan Address Validation API di lingkungan tempat pengujian akan dijalankan.
  • Berjalan - Kumpulkan metrik selama pengujian berjalan, hingga hasil yang signifikan diperoleh atau waktu habis.
  • Menganalisis - Bandingkan hasil dengan hipotesis dan identifikasi langkah berikutnya.

Kami akan berbicara tentang masing-masing ini pada gilirannya.

Persiapan

Menentukan persyaratan pengujian A/B

Penemuan awal

Tanyakan pada diri sendiri: Mengapa Anda menambahkan atau mengubah penyedia validasi alamat? Misalnya, menggunakan Place Autocomplete Google Maps:

  • Menghemat waktu: Anda tidak perlu mengetik seluruh nama tempat ketika Anda bisa mulai mengetik dan melihat saran muncul.
  • Mengurangi kesalahan: Jika Anda salah mengeja nama suatu tempat, Pelengkapan Otomatis Tempat Google Maps akan tetap menyarankan tempat yang benar.

Ada banyak manfaat untuk mengatasi validasi, antara lain:

  • Peningkatan rasio pengiriman: Validasi alamat dapat membantu meningkatkan frekuensi pengiriman dengan memastikan bahwa email dan paket dikirim ke alamat yang benar. Cara ini dapat menghemat waktu dan uang perusahaan, serta meningkatkan kepuasan pelanggan.
  • Peningkatan kualitas data: Validasi alamat dapat membantu meningkatkan kualitas data dengan mengidentifikasi dan memperbaiki kesalahan dalam alamat. Hal ini dapat meningkatkan akurasi kampanye pemasaran dan inisiatif berbasis data lainnya.

Memutuskan hipotesis

Putuskan hipotesis Anda untuk diuji. Berikut dua contohnya:

1. Rasio konversi

Saat Anda menambahkan solusi jenis di muka, biasanya Anda melihat sedikit peningkatan rasio konversi, dan ini adalah metrik yang baik untuk dilacak. Jika Anda mengubah solusi jenis di muka dari penyedia lain, maka rasio konversi tetap adalah yang diharapkan. Jika rasio konversi turun, hal pertama yang harus diperiksa adalah penerapan.

Rasio konversi itu penting, tetapi mungkin tidak menjelaskan keseluruhan cerita. Menambahkan solusi validasi alamat dirancang untuk mencegah orang mengirimkan alamat berkualitas buruk di titik masuk, dan dapat menambah beberapa hambatan alami untuk mengatasi penangkapan alamat di beberapa skenario. Hal ini dapat menyebabkan penurunan rasio konversi secara keseluruhan, tetapi ini bukan hal yang buruk. Pesanan yang belum selesai karena penambahan validasi alamat mungkin telah dikaitkan dengan data alamat berkualitas buruk yang akan menimbulkan biaya bagi bisnis melalui penagihan balik.

2. Pengurangan alamat berkualitas buruk

Di sinilah solusi validasi alamat yang baik dapat benar-benar menonjol. Dengan menerapkan Validasi Alamat, Anda akan melihat penurunan data alamat yang berkualitas buruk.

Jika Anda membandingkan solusi baru dengan solusi yang sudah ada, Anda mungkin tergoda untuk hanya membandingkan tingkat kecocokan 'alamat baik', dan memilih layanan yang memberikan tingkat kecocokan yang lebih tinggi. Hal ini dapat menyesatkan karena satu layanan mungkin memberikan lebih banyak positif palsu daripada yang lain.

Sebaliknya, metrik yang lebih berdampak adalah membandingkan hasil keberhasilan penggunaan data alamat. Mengambil {i>e-commerce<i} sebagai contoh, hasil yang diinginkan dari mendapatkan sebuah alamat adalah akhir dari keberhasilan pengiriman sebuah paket.

Membangun

Sekarang adalah bagian yang menarik! Saatnya membangun solusi baru untuk pelanggan Anda. Kami telah memiliki panduan praktis untuk menerapkan Place Autocomplete dan Address Validation API pada checkout e-commerce. Sebaiknya Anda melihat langkah ini saat menyelesaikan langkah ini.

Meskipun Anda tidak membuat aplikasi khusus untuk e-commerce, banyak informasinya masih relevan, terutama panduan tentang cara menentukan kualitas alamat dari output Address Validation API.

Diagram Arsitektur

Contoh container yang dapat digunakan untuk membuat pengujian A/B di lingkungan e-commerce adalah sebagai berikut:

[Lingkungan Eksekusi] Validasi Alamat Pengujian A/B

Aplikasi, layanan, dan penyimpanan data yang penting, dalam sistem kunci, yang mendukung arsitektur. (Klik untuk memperbesar.)

Diagram arsitektur menampilkan container yang membentuk Sistem Software Pengujian A/B dan Sistem Software Aplikasi E-commerce. Pengujian ini menunjukkan pelanggan ke situs e-commerce Anda yang berinteraksi dengan Load Balancer, yang akan mengarahkan mereka ke aplikasi situs e-commerce. Pengelola Pengujian A/B berkomunikasi dengan load balancer, untuk memilih variabel pengujian A/B yang akan ditampilkan kepada pelanggan. Sistem pengujian A/B ini juga mencatat hasil dan konfigurasi pengujian A/B di database pilihan Anda. Aplikasi Web E-commerce melakukan panggilan API ke Sistem Software Google Maps Platform, dan juga melaporkan peristiwa analisis ke sistem software Analytics, yang mencatat peristiwa pengujian ke database hasil pengujian A/B.

Memvalidasi penerapan

Solusi yang diterapkan dengan buruk akan memberikan hasil pengujian yang tidak dapat diandalkan. Sebelum menjalankan pengujian A/B, sebaiknya validasi solusi dengan grup pengguna kecil terlebih dahulu untuk memastikan solusi tersebut berfungsi seperti yang diharapkan. Ini dapat berupa penguji QA internal, dan/atau sekelompok penguji eksternal tertentu yang Anda percayai untuk memberikan masukan yang membangun.

Jalankan

Peningkatan perlahan

Bahkan setelah solusi tervalidasi, sebaiknya tetap tingkatkan pengujian secara perlahan, dimulai dengan sekelompok kecil pengguna. Dengan melakukan hal ini, bug atau masalah lainnya dapat ditangkap lebih awal dan ditangani dengan cepat tanpa memengaruhi sebagian besar pengguna Anda.

Pengujian penuh

Setelah solusi diuji oleh sekelompok kecil pengguna dan masalah apa pun telah ditangani, kami dapat meningkatkan ke pengujian A/B penuh. Hal ini tidak harus berupa pembagian traffic 50/50 yang sebenarnya, tetapi ukuran tersebut harus sebanding dengan kumpulan penggunaan live yang dipilih secara acak.

Merekam Metrik

Selama pengujian, Anda harus memastikan bahwa telah diperoleh data yang sesuai untuk mendukung hipotesis. Anda dapat menggunakan platform pengujian A/B selama proses ini untuk memudahkan pengumpulan data dan analisis selanjutnya. Google Maps Platform juga mengumpulkan metrik penggunaan API yang mungkin bermanfaat. Anda dapat membuka halaman ini untuk mempelajari lebih lanjut cara menggunakan alat pelaporan kami.

Beberapa metrik yang disarankan adalah sebagai berikut:

Place Autocomplete

Rasio konversi: Apakah rasio konversi/penyelesaian formulir Anda meningkat karena sebelumnya tidak memiliki solusi pelengkapan otomatis?
Interaksi alat: Apakah lebih banyak pengguna yang berhasil berinteraksi dengan Place Autocomplete dibandingkan dengan solusi sebelumnya?

Address Validation

Pengiriman berhasil: Apakah ada penurunan pada pengiriman yang gagal karena kualitas alamat?
Perubahan alamat: Apakah ada penurunan dalam jumlah tagihan perubahan alamat yang Anda terima dari kurir?
Tempat tinggal vs komersial: Apakah ada peningkatan dalam pengambilan data perumahan vs komersial? (hanya pasar tertentu)

Analisis

Sekarang pengujian selesai, saatnya menganalisis hasil terhadap kriteria dan hipotesis pengujian asli. Jika Anda menggunakan platform pengujian A/B untuk menyelesaikan proses, beberapa informasi mungkin sudah tersedia untuk Anda.

Kembali ke bagian Pengurangan alamat berkualitas buruk di atas, Anda juga dapat menggunakan metrik lain yang mungkin belum terdeteksi oleh platform pengujian A/B. Hal ini bisa berupa rasio pengiriman gagal di antara skenario pengujian, dengan contoh data seperti ini:

Solusi A Solusi B
Pengiriman gagal 1,75% 1,23%

Dengan melihat contoh dasar di atas, sudah jelas bahwa untuk kasus penggunaan ini, Solusi B akan menjadi pilihan yang lebih baik.

Kesimpulan

Kami harap panduan ini telah memberikan cukup informasi bagi Anda untuk memulai perjalanan pengujian A/B. Meskipun telah menggunakan contoh dari ruang e-commerce, prinsip dasar yang sama dapat diterapkan di seluruh area. Tentukan hasil yang berhasil dari memiliki data alamat yang berkualitas baik di bisnis Anda, dan lacak hal itu sebagai hipotesis utama Anda.

Kami telah menyertakan kembali tautan yang disebutkan dalam panduan di bawah, sebagai saran bacaan lebih lanjut.

Selamat mencoba!

Langkah Berikutnya

Download Laporan Resmi Meningkatkan checkout, pengiriman, dan operasi dengan alamat yang andal dan lihat Webinar Meningkatkan checkout, pengiriman, dan operasi dengan Validasi Alamat .

Saran bacaan lebih lanjut:

Kontributor

Penulis utama:

Henrik Valve | Engineer Solusi Google Maps Platform