Mierzenie wpływu weryfikacji adresu za pomocą testu A/B

W tym dokumencie opisujemy techniki, które warto wziąć pod uwagę podczas testów A/B interfejsów API autouzupełniania miejsc i weryfikacji adresów w Google Maps Platform.

Oto kilka korzyści płynących z używania autouzupełniania miejsc i interfejsu Address Validation API:

  • Większa wygoda klientów: wyświetlając klientom sugestie adresów i miejsc w czasie rzeczywistym, pomagasz im szybciej i łatwiej dokonywać płatności. Może to poprawić wrażenia klientów.
  • Większa dokładność danych: interfejsy autouzupełniania miejsc i interfejsy Address Validation API mogą pomóc Ci zwiększyć dokładność danych o klientach. Jest to szczególnie ważne w przypadku e-commerce, ponieważ prawidłowe dane adresowe są używane do prawidłowego dostarczania przesyłek.

Aby poprawić jakość adresów, przeprowadź test A/B, aby sprawdzić, które rozwiązanie do weryfikacji najlepiej odpowiada Twoim potrzebom. Daje Ci to szansę na ilościowe określenie, który produkt najlepiej nadaje się do Twojego zastosowania.

Test A/B to sposób na porównanie dwóch wersji strony internetowej lub aplikacji. Jest to rodzaj kontrolowanego eksperymentu, który służy do określania wpływu zmiany zmiennej na wymierny wynik.
Aby przeprowadzić test A/B, utwórz 2 wersje strony lub aplikacji – jedną jako grupę kontrolną i drugą z mierzalną zmianą. Następnie wyświetlasz te wersje różnym użytkownikom i mierzysz ich interakcje z nimi. Wygrywa wersja, która jest skuteczniejsza.

Omówienie architektury systemu

Przyjrzyjmy się weryfikacji adresu za pomocą testów A/B w przypadku użycia e-commerce. Poniższy schemat architektury pokazuje, jak klient mógłby wchodzić w interakcje z Twoją stroną handlową, co pozwala określić skuteczniejszą strategię weryfikacji.

[Kontekst systemu] Weryfikacja adresu w teście A/B

Systemy wykorzystywane podczas testów A/B wartości interfejsu Address Validation API.

Schemat architektury pokazuje klienta odwiedzającego Twoją witrynę e-commerce, który wchodzi w interakcję z systemem testów A/B. System decyduje, którą zmienną testową wyświetlić klientowi (w systemie oprogramowania sklepu internetowego). Sklep e-commerce wywołuje system oprogramowania Google Maps Platform przez interfejs API. Zbiera też analizy z testów A/B, które są przetwarzane przez system oprogramowania analitycznego i przekazywane do systemu testów A/B.

Proces testowania A/B

Ogólnie test A/B dzieli się na 4 etapy:

  • Przygotowanie – określenie wymagań, zakresu i harmonogramu testowania.
  • Tworzenie – zaimplementuj interfejsy API autouzupełniania miejsc i Adresów walidacji adresów w środowisku, w którym chcesz przeprowadzić test.
  • Uruchom – zbieraj dane w trakcie testu, aż do uzyskania istotnych wyników lub gdy upłynie czas.
  • Analiza – porównaj wyniki z hipotezą i określ kolejne kroki.

Omówimy po kolei każdy z tych elementów.

Przygotowanie

Podejmowanie decyzji o wymaganiach dotyczących testów A/B

Wstępne odkrywanie

Zadaj sobie pytanie: dlaczego dodajesz lub zmieniasz dostawcę weryfikacji adresów? Na przykład przy użyciu autouzupełniania miejsc w Mapach Google:

  • Oszczędność czasu: nie musisz już wpisywać całej nazwy miejsca – możesz po prostu zacząć pisać, a pojawią się sugestie.
  • Zmniejsza liczbę błędów: jeśli popełnisz błąd w nazwie miejsca, autouzupełnianie miejsc w Mapach Google zasugeruje prawidłowe miejsce.

Weryfikacja ta ma wiele zalet, w tym:

  • Wyższy współczynnik dostarczania: weryfikacja adresu może pomóc poprawić współczynnik dostarczania, ponieważ poczta i paczki są wysyłane na prawidłowy adres. Może to pomóc firmom zaoszczędzić czas i pieniądze oraz zwiększyć zadowolenie klientów.
  • Ulepszona jakość danych: weryfikacja adresu może poprawić jakość danych dzięki wykrywaniu i poprawianiu błędów w adresach. Może to zwiększyć dokładność kampanii marketingowych i innych inicjatyw opartych na danych.

Decyzja dotycząca hipotezy

Ustal hipotezę do przetestowania. Oto 2 przykłady:

1. Współczynnik konwersji

Gdy dodasz rozwiązanie typu z wyprzedzeniem, współczynnik konwersji może się nieznacznie zwiększyć. Te dane warto śledzić. Jeśli zmienisz typ rozwiązania od innego dostawcy, należy spodziewać się zryczałtowanego współczynnika konwersji. Jeśli współczynnik konwersji spada, w pierwszej kolejności sprawdź implementację.

Współczynnik konwersji jest ważny, ale może nie mówić wszystkiego. Dodanie rozwiązania do weryfikacji adresów ma na celu zapobieganie zgłaszaniu adresów niskiej jakości przy wejściu, a w niektórych sytuacjach może utrudniać przechwytywanie danych. Może to prowadzić do spadku ogólnego współczynnika konwersji, ale nie musi to być nic złego. Niezrealizowane zamówienia z powodu weryfikacji adresu mogły zostać powiązane z niską jakością danych adresowych, co spowodowałoby dla firmy koszty związane z obciążeniami zwrotnymi za dostawę.

2. Zmniejszanie liczby adresów niskiej jakości

W tym przypadku warto skorzystać z dobrego rozwiązania do weryfikacji adresów. Gdy wdrożysz weryfikację adresów, możesz się spodziewać spadku jakości danych adresowych.

Gdy porównujesz nowe i istniejące rozwiązanie, możesz po prostu porównać współczynniki dopasowania „dobrego adresu” i wybrać usługę, która ma wyższy współczynnik dopasowania. Może to być mylące, ponieważ jedna usługa może generować więcej fałszywych trafień niż druga.

Lepszym rozwiązaniem jest porównanie skuteczności wykorzystania danych adresowych. Biorąc pod uwagę e-commerce na przykład e-commerce, pożądanym efektem rejestracji adresu będzie ostatecznie udana dostawa przesyłki.

Kompilacja

Teraz zaczyna się jego ekscytująca część. Nadszedł czas, by stworzyć nowe rozwiązanie dla Twoich klientów. Opublikowaliśmy już przewodnik po implementacji interfejsów Place Autocomplete oraz Address Validation API w procesie płatności e-commerce. Zalecamy zapoznanie się z nią podczas wykonywania tego kroku.

Nawet jeśli nie tworzysz oprogramowania dla e-commerce, wiele z nich jest nadal przydatnych, zwłaszcza wskazówki dotyczące określania jakości adresu na podstawie danych wyjściowych interfejsu Address Validation API.

Schemat architektury

Poniżej znajdziesz przykładowe kontenery, których można użyć do utworzenia testu A/B w środowisku e-commerce:

[Środowisko wykonawcze] Weryfikacja adresu w teście A/B

Ważne aplikacje, usługi i magazyny danych w kluczowych systemach, na których opiera się architektura. (Kliknij, aby powiększyć).

Schemat architektury pokazuje kontenery, które składają się na system oprogramowania do testów A/B i system oprogramowania aplikacji e-commerce. Wyświetla klienta w Twojej witrynie e-commerce, który wchodzi w interakcję z systemem równoważenia obciążenia, który przekierowuje go do aplikacji witryny e-commerce. Menedżer testów A/B komunikuje się z systemem równoważenia obciążenia, aby wybrać zmienną testu A/B, która zostanie wyświetlona klientowi. System testów A/B zapisuje też wyniki i konfigurację testu A/B w wybranej przez Ciebie bazie danych. Aplikacja internetowa e-commerce wysyła wywołania interfejsu API do systemu oprogramowania Google Maps Platform i raportuje zdarzenia analityczne do systemu oprogramowania Analytics, który rejestruje zdarzenia testowe w bazie danych z wynikami testów A/B.

Weryfikowanie implementacji

Źle wdrożone rozwiązanie może doprowadzić do niemiarodajnych wyników testów. Przed uruchomieniem testu A/B warto zweryfikować działanie rozwiązania na małej grupie użytkowników, aby upewnić się, że działa ono zgodnie z oczekiwaniami. Mogą to być wewnętrzni testerzy kontroli jakości lub wybrana grupa testerów zewnętrznych, którym możesz zaufać, aby przekazywać konstruktywne opinie.

Uruchom

Powolne tempo

Nawet po zweryfikowaniu rozwiązania warto stopniowo przeprowadzać testy, zaczynając od małej grupy użytkowników. Dzięki temu błędy i inne problemy można szybko i wykryć, nie wpływając na duży odsetek użytkowników.

Pełny test

Po przetestowaniu rozwiązania przez małą grupę użytkowników i rozwiązaniu wszelkich problemów możemy przejść do pełnego testu A/B. Nie musi to być rzeczywisty podział ruchu na poziomie 50/50, ale powinien być pod względem wielkości porównywalny do losowo wybranego zestawu danych o bieżącym wykorzystaniu.

Przechwytywanie wskaźników

Podczas testu należy zadbać o zebranie odpowiednich danych na poparcie hipotezy. Aby ułatwić zbieranie tych danych, a później ich analizę, możesz skorzystać z platformy do testów A/B. Google Maps Platform gromadzi też dane o wykorzystaniu interfejsu API, które mogą być przydatne. Więcej informacji o korzystaniu z naszych narzędzi do raportowania znajdziesz na tej stronie.

Niektóre sugerowane dane:

Autouzupełnianie miejsc

Współczynnik konwersji: czy współczynnik konwersji/wypełnienia formularza poprawił się z powodu braku rozwiązania autouzupełniania?
Interakcja z narzędziem: czy więcej użytkowników korzysta z autouzupełniania miejsc w porównaniu z poprzednim rozwiązaniem?

Weryfikacja adresów

Pomyślne dostarczenie: czy liczba nieudanych dostaw spadła ze względu na jakość adresu?
Zmiany adresu: czy zmniejszyła się liczba opłat za zmianę adresu otrzymywanych od kurierów?
Obszary mieszkalne a komercyjne: czy nastąpiła poprawa w rejestrowaniu danych dotyczących nieruchomości mieszkalnych i komercyjnych? (dotyczy tylko wybranych rynków)

Analizuj

Testy zostały zakończone, więc możemy przeanalizować wyniki względem pierwotnych kryteriów i hipotezy. Jeśli do przeprowadzenia procesu użyto platformy do testów A/B, niektóre informacje mogą być już dostępne.

Wracając do sekcji Zmniejszanie liczby adresów o niskiej jakości powyżej możesz też wykorzystać inne dane, które mogły nie zostać uwzględnione przez platformę do testów A/B. Może to być odsetek nieudanych dostaw między scenariuszami testowania z przykładowymi danymi:

Rozwiązanie A Rozwiązanie B
Nieudane dostawy 1,75% 1,23%

Po przeanalizowaniu powyższego podstawowego przykładu wyraźnie widać, że w tym przypadku lepszym wyborem będzie Rozwiązanie B.

Podsumowanie

Mamy nadzieję, że ten przewodnik dostarczy Ci wystarczająco dużo informacji, by rozpocząć korzystanie z testów A/B. Wprawdzie zastosowano w nim przykłady z branży e-commerce, ale te same podstawowe zasady można zastosować w całym środowisku. Określ, jaki efekt osiąga się dzięki dobrej jakości danych adresowych w swojej firmie, i śledź je jako główną hipotezę.

Poniżej ponownie umieściliśmy linki wspomniane w przewodniku. Sugerujemy zapoznanie się z nimi.

Miłego testowania,

Dalsze kroki

Pobierz dokument Usprawnij proces płatności, dostawy i operacji dzięki niezawodnym adresom i obejrzyj webinar Usprawnianie procesu płatności, dostawy i działań dzięki weryfikacji adresów .

Sugerujemy dodatkowe artykuły:

Współtwórcy

Główni autorzy:

Henrik Valve | inżynier ds. rozwiązań Google Maps Platform