Medición del impacto de la validación de direcciones con una prueba A/B

En este documento, se describen las técnicas que se deben tener en cuenta cuando se realiza una prueba A/B de las APIs de Place Autocomplete y Address Validation de Google Maps Platform.

Estos son algunos beneficios de usar Place Autocomplete y la API de Address Validation:

  • Experiencia del cliente mejorada: Si les brindas a tus clientes sugerencias en tiempo real de direcciones y lugares, puedes ayudarlos a completar la confirmación de la compra de forma más rápida y fácil. Esto puede mejorar la experiencia del cliente.
  • Precisión de datos mejorada: La API de Place Autocomplete y Address Validation pueden ayudarte a mejorar la precisión de los datos de tus clientes. Esto puede ser especialmente importante en el comercio electrónico, ya que se depende de datos precisos de direcciones para la entrega exitosa de los paquetes.

Para mejorar la calidad de tus direcciones, ejecuta una prueba A/B para evaluar qué solución de validación se ajusta mejor a tus necesidades. Esto te da la oportunidad de decidir de manera cuantitativa qué producto es el más adecuado para tu caso de uso.

Una prueba A/B es una forma de comparar dos versiones de una página web o aplicación. Es un tipo de experimento controlado que se usa para determinar el efecto que tiene un cambio en una variable sobre un resultado medible.
Para realizar una prueba A/B, crea dos versiones de una página o app, una como control y la otra con el cambio medible. Luego, mostrarás esas versiones a diferentes usuarios y medirás cómo interactúan con ellas. La versión que tenga un mejor rendimiento será la ganadora.

Descripción general de la arquitectura del sistema

Veamos la prueba A/B de Address Validation en un caso de uso de comercio electrónico. En el siguiente diagrama de arquitectura, se muestra la interacción de un cliente con tu experiencia comercial, lo que te permite determinar la estrategia de validación más eficaz.

[Contexto del sistema] Validación de direcciones de A/B Testing

Son los sistemas involucrados en las pruebas A/B del valor de la API de Address Validation.

El diagrama de arquitectura muestra a un cliente a tu sitio web de comercio electrónico interactuando con el sistema de pruebas A/B. Este sistema toma la decisión de qué variable de prueba mostrar al cliente a partir del sistema de software de la tienda de comercio electrónico. La tienda de comercio electrónico realiza una llamada a la API al sistema de software de Google Maps Platform. También recopila análisis de pruebas A/B, que se procesan en un sistema de software de análisis y se informan al sistema de pruebas A/B.

El proceso de prueba A/B

Cuando pienses en el proceso general de pruebas A/B, hay cuatro etapas que debes considerar.

  • Preparación: Identifica los requisitos, el alcance y la escala de tiempo de las pruebas.
  • Compilación: Implementa la API de Place Autocomplete y Address Validation en un entorno para ejecutar la prueba.
  • Ejecutar: Recopila las métricas mientras se ejecuta la prueba, hasta que se obtengan resultados significativos o hasta que venza el tiempo.
  • Analizar: Compara los resultados con la hipótesis e identifica los próximos pasos.

Hablaremos sobre cada una de ellas.

Prep.

Cómo decidir los requisitos de las pruebas A/B

Descubrimiento inicial

Pregúntate lo siguiente: ¿Por qué quieres agregar o cambiar un proveedor de validación de direcciones? Por ejemplo, con el autocompletado de Places de Google Maps:

  • Ahorra tiempo: No tienes que escribir el nombre completo de un lugar cuando puedes comenzar a escribir y ver las sugerencias.
  • Reduce los errores: Si escribes mal el nombre de un lugar, Place Autocomplete de Google Maps sugerirá el lugar correcto.

Estos son algunos de los muchos beneficios de la validación:

  • Ritmos de entrega mejorados: La validación de direcciones puede ayudar a mejorar los porcentajes de entrega, ya que garantiza que el correo y los paquetes se envíen a la dirección correcta. Esto puede ahorrar tiempo y dinero a las empresas, y mejorar la satisfacción del cliente.
  • Calidad de los datos mejorada: La validación de direcciones puede ayudar a mejorar la calidad de los datos, ya que identifica y corrige errores en las direcciones. Esto puede mejorar la exactitud de las campañas de marketing y otras iniciativas basadas en datos.

Decisión sobre la hipótesis

Decide qué hipótesis quieres probar. A continuación, presentamos dos ejemplos:

1. Porcentaje de conversiones

Cuando se agrega una solución de escritura anticipada, es habitual ver un ligero aumento en los porcentajes de conversiones, y esta es una buena métrica para realizar un seguimiento. Si cambias tu solución de tipo por adelantado de otro proveedor, se debe esperar un porcentaje de conversiones fijo. Si el porcentaje de conversiones disminuye, lo primero que se debe verificar es la implementación.

El porcentaje de conversiones es importante, pero es posible que no cuente toda la historia. La incorporación de una solución de validación de direcciones está diseñada para impedir que las personas envíen direcciones de mala calidad en el punto de entrada, lo que puede agregar inconvenientes en la captura de direcciones en algunos casos. Esto podría provocar una disminución en los porcentajes de conversiones generales, pero no necesariamente debería considerarse malo. Es posible que los pedidos no completados debido a que se agregó la validación de la dirección se hayan asociado con datos de direcciones de mala calidad, lo que habría resultado en un costo para la empresa a través de devoluciones de cargos de entrega.

2. Reducción de las direcciones de mala calidad

Aquí es donde una buena solución de validación de direcciones puede brillar. Al implementar Address Validation, es probable que se note una reducción en la baja calidad de los datos de direcciones.

Si estás comparando una solución nueva con una existente, puede ser tentador comparar los porcentajes de coincidencias de “buenas direcciones” y seleccionar el servicio que proporciona un porcentaje de coincidencias más alto. Esto puede ser engañoso, ya que un servicio puede estar proporcionando más falsos positivos que el otro.

En cambio, la métrica más impactante es comparar el resultado exitoso de usar los datos de dirección. Si tomamos el comercio electrónico como ejemplo, el resultado deseado de recopilar una dirección sería la entrega exitosa final de un paquete.

Desarrollo

¡Ahora es la parte emocionante! Llegó el momento de crear una solución nueva para tus clientes. Ya tenemos una guía práctica para implementar Place Autocomplete y la API de Address Validation en una confirmación de la compra de comercio electrónico. Te recomendamos que revises esto mientras completas este paso.

Incluso si no realizas compilaciones específicamente para el comercio electrónico, gran parte de la información sigue siendo relevante, en especial la guía sobre cómo determinar la calidad de las direcciones a partir del resultado de la API de Address Validation.

Diagrama de arquitectura

A continuación, se presenta un ejemplo de los contenedores que podrían usarse para compilar una prueba A/B en un entorno de comercio electrónico:

[Entorno de ejecución] Validación de direcciones de A/B Testing

Las aplicaciones, los servicios y los almacenes de datos importantes en los sistemas clave que impulsan la arquitectura. (Haz clic para agrandar la imagen).

El diagrama de arquitectura muestra los contenedores que conforman el sistema de software de pruebas A/B y el sistema de software de la app de comercio electrónico. Muestra a un cliente de tu sitio web de comercio electrónico interactuando con un balanceador de cargas, que lo dirigirá a la app del sitio web de comercio electrónico. El administrador de pruebas A/B se comunica con el balanceador de cargas para seleccionar la variable de prueba A/B que se mostrará al cliente. Este sistema de pruebas A/B también registra los resultados y la configuración de la prueba A/B en una base de datos que elijas. La aplicación web de comercio electrónico realiza llamadas a la API al sistema de software de Google Maps Platform y también informa eventos de estadísticas al sistema de software de Analytics, que registra los eventos de prueba en la base de datos de resultados de las pruebas A/B.

Valida la implementación

Una solución mal implementada producirá resultados de pruebas poco confiables. Antes de ejecutar la prueba A/B, primero es importante validar la solución con un grupo de usuarios pequeño para garantizar que funcione como se espera. Pueden ser verificadores internos de QA o un grupo seleccionado de verificadores externos, en quienes confíes para que brinden comentarios constructivos.

Ejecuta

Aceleración lenta

Incluso con la solución validada, sigue siendo una buena idea aumentar la prueba lentamente, comenzando con un grupo pequeño de usuarios. De esta manera, los errores y otros problemas se pueden detectar a tiempo y abordarse con rapidez sin afectar a un gran porcentaje de tus usuarios.

Prueba completa

Una vez que un grupo pequeño de usuarios prueba la solución y se resuelven todos los problemas, podemos realizar una prueba A/B completa. No necesariamente tiene que ser una verdadera división de tráfico 50/50, pero debe ser comparable en tamaño con un conjunto de uso en vivo seleccionado al azar.

Captura de métricas

Durante la prueba, debes asegurarte de capturar los datos adecuados para respaldar tu hipótesis. Puedes usar una plataforma de pruebas A/B durante este proceso para facilitar la recopilación de datos y su posterior análisis. Google Maps Platform también recopila métricas de uso de la API que podrían ser útiles. Puedes consultar esta página para obtener más información sobre el uso de nuestras herramientas de informes.

Estas son algunas métricas sugeridas:

Place Autocomplete

Porcentaje de conversiones: ¿Mejoraste el porcentaje de conversiones y de autocompletado del formulario, ya que no tenía la solución de autocompletar?
Interacción con la herramienta: ¿En comparación con la solución anterior, más usuarios interactúan exitosamente con Place Autocomplete?

Address Validation

Entrega exitosa: ¿Se redujo la cantidad de entregas fallidas debido a la calidad de la dirección?
Cambios de dirección: ¿Se redujo la cantidad de cargos por cambio de dirección que recibiste de los servicios de mensajería?
Residencial en comparación con comercial: ¿Hubo mejoras en la recopilación de datos residenciales y comerciales? (solo en mercados seleccionados).

Analiza

Ahora que la prueba terminó, es momento de analizar los resultados con los criterios y la hipótesis originales. Si utilizaste una plataforma de pruebas A/B para completar el proceso, es posible que ya tengas cierta información disponible.

Si volvemos a la sección Reducción en las direcciones de baja calidad que aparece más arriba, también puedes utilizar otras métricas que es posible que la plataforma de pruebas A/B no haya capturado. Podría ser la tasa de entregas fallidas entre las situaciones de prueba, con datos de ejemplo como los siguientes:

Solución A Solución B
Entregas fallidas 1,75% 1,23%

Si observamos el ejemplo básico anterior, queda claro que, para este caso de uso, la Solución B sería la mejor opción.

Conclusión

Esperamos que esta guía te haya brindado suficiente información para comenzar con el proceso de las pruebas A/B. Si bien se han utilizado ejemplos del espacio del comercio electrónico, los mismos principios básicos se pueden aplicar de forma general. Identifica el resultado exitoso de tener datos de direcciones de buena calidad en tu empresa y analízalo como tu principal hipótesis.

A continuación, incluimos nuevamente los vínculos mencionados en la guía como material de lectura adicional sugerido.

¡Éxitos con la prueba!

Próximos pasos

Descarga el informe Mejora la confirmación de la compra, la entrega y las operaciones con direcciones confiables y mira el seminario en línea Mejora la confirmación de la compra, la entrega y las operaciones con Address Validation .

Lecturas adicionales sugeridas:

Colaboradores

Autores principales:

Henrik Valve | Ingeniero de soluciones de Google Maps Platform