การวัดผลกระทบของการตรวจสอบที่อยู่โดยใช้การทดสอบ A/B

เอกสารนี้อธิบายเทคนิคที่ควรพิจารณาเมื่อดำเนินการทดสอบ A/B ของ API ฟีเจอร์เติมข้อความอัตโนมัติและการตรวจสอบที่อยู่ของ Google Maps Platform

ข้อดีของการใช้ฟีเจอร์เติมข้อความอัตโนมัติและ API การตรวจสอบที่อยู่มีดังนี้

  • ประสบการณ์ของลูกค้าที่ดีขึ้น: การให้คำแนะนำแบบเรียลไทม์เกี่ยวกับที่อยู่และสถานที่แก่ลูกค้าช่วยให้ลูกค้าชำระเงินได้อย่างรวดเร็วและง่ายดายยิ่งขึ้น ซึ่งจะช่วยให้ลูกค้าได้รับประสบการณ์ที่ดียิ่งขึ้น
  • ความถูกต้องของข้อมูลมากขึ้น: Place Autocomplete และ Address Validation API จะช่วยปรับปรุงความแม่นยำของข้อมูลลูกค้า ซึ่งมีความสำคัญอย่างยิ่งในอีคอมเมิร์ซ เนื่องจากต้องอาศัยข้อมูลที่อยู่ที่ถูกต้องเพื่อให้นำส่งพัสดุได้สําเร็จ

หากต้องการปรับปรุงคุณภาพที่อยู่ ให้ทำการทดสอบ A/B เพื่อประเมินว่าโซลูชันการตรวจสอบความถูกต้องใดตรงกับความต้องการของคุณมากที่สุด ซึ่งจะช่วยให้คุณมีโอกาสตัดสินใจในเชิงปริมาณว่าผลิตภัณฑ์ใดเหมาะกับกรณีการใช้งานของคุณที่สุด

การทดสอบ A/B คือวิธีเปรียบเทียบหน้าเว็บหรือแอป 2 เวอร์ชัน โดยเป็นการทดสอบที่มีการควบคุมประเภทหนึ่งที่ใช้เพื่อระบุผลกระทบที่การเปลี่ยนแปลงตัวแปรมีต่อผลลัพธ์ที่วัดได้
หากต้องการทำการทดสอบ A/B ให้สร้างหน้าเว็บหรือแอป 2 เวอร์ชัน โดยเวอร์ชันหนึ่งเป็นตัวควบคุมและอีกเวอร์ชันที่มีการเปลี่ยนแปลงที่วัดผลได้ จากนั้นคุณจะแสดงเวอร์ชันเหล่านี้ให้ผู้ใช้คนอื่นเห็นและวัดการโต้ตอบของผู้ใช้ เวอร์ชันที่มีประสิทธิภาพดีกว่าจะเป็นผู้ชนะ

ภาพรวมสถาปัตยกรรมของระบบ

มาดูการตรวจสอบที่อยู่การทดสอบ A/B ใน Use Case ด้านอีคอมเมิร์ซกัน แผนภาพสถาปัตยกรรมด้านล่างแสดงวิธีที่ลูกค้าจะโต้ตอบกับประสบการณ์การค้าของคุณ ซึ่งจะช่วยให้คุณกำหนดกลยุทธ์การตรวจสอบที่มีประสิทธิภาพมากขึ้นได้

[บริบทของระบบ] การตรวจสอบที่อยู่สำหรับการทดสอบ A/B

ระบบที่เกี่ยวข้องเมื่อทำการทดสอบ A/B กับค่าของ Address Validation API

แผนภาพสถาปัตยกรรมแสดงลูกค้าในเว็บไซต์อีคอมเมิร์ซของคุณที่โต้ตอบกับระบบการทดสอบ A/B ระบบนี้ตัดสินใจว่าจะแสดงตัวแปรการทดสอบใดแก่ลูกค้า จากระบบซอฟต์แวร์ร้านค้าอีคอมเมิร์ซ ร้านค้าอีคอมเมิร์ซนี้เรียก API ไปยังระบบซอฟต์แวร์ Google Maps Platform นอกจากนี้ ยังรวบรวมข้อมูลวิเคราะห์ของการทดสอบ A/B ซึ่งประมวลผลโดยระบบซอฟต์แวร์ข้อมูลวิเคราะห์ และรายงานกลับไปยังระบบการทดสอบ A/B ด้วย

ขั้นตอนการทดสอบ A/B

เมื่อคุณนึกถึงกระบวนการทดสอบ A/B โดยรวม ก็ต้องพิจารณาทั้งหมด 4 ขั้นตอน

  • การเตรียมการ - ระบุข้อกำหนดการทดสอบ ขอบเขต และระยะเวลา
  • สร้าง - ใช้การเติมข้อมูลอัตโนมัติและ API การตรวจสอบที่อยู่ในสภาพแวดล้อมเพื่อทำการทดสอบ
  • เรียกใช้ - รวบรวมเมตริกในขณะที่การทดสอบทำงานอยู่จนกว่าจะได้รับผลลัพธ์ที่มีนัยสำคัญหรือหมดเวลา
  • วิเคราะห์ - เปรียบเทียบผลลัพธ์กับสมมติฐานและระบุขั้นตอนถัดไป

เราจะพูดถึงสิ่งเหล่านี้ตามลำดับ

ระดับชั้นเตรียม

การตัดสินใจเกี่ยวกับข้อกำหนดการทดสอบ A/B

การค้นพบเบื้องต้น

ลองถามตัวเองดูว่าเหตุใดคุณจึงเพิ่มหรือเปลี่ยนแปลงผู้ให้บริการตรวจสอบที่อยู่ ตัวอย่างเช่น การใช้การเติมข้อความอัตโนมัติใน Google Maps Places:

  • ประหยัดเวลา: คุณไม่จำเป็นต้องพิมพ์ชื่อสถานที่ทั้งหมดเมื่อเริ่มพิมพ์ แล้วคุณจะเห็นคำแนะนำปรากฏขึ้นมา
  • ลดข้อผิดพลาด: หากคุณสะกดชื่อสถานที่ผิด การเติมข้อความอัตโนมัติของ Google Maps Places จะยังคงแนะนำสถานที่ที่ถูกต้อง

การตรวจสอบความถูกต้องมีประโยชน์หลายประการ ดังนี้

  • อัตราการนำส่งที่ดีขึ้น: การตรวจสอบที่อยู่จะช่วยปรับปรุงอัตราการนำส่งด้วยการตรวจสอบว่ามีการส่งอีเมลและพัสดุไปยังที่อยู่ที่ถูกต้อง ซึ่งจะช่วยประหยัดเวลาและค่าใช้จ่ายของธุรกิจ และเพิ่มความพึงพอใจของลูกค้าได้
  • คุณภาพของข้อมูลที่ดีขึ้น: การตรวจสอบที่อยู่จะช่วยปรับปรุงคุณภาพของข้อมูลโดยการระบุและแก้ไขข้อผิดพลาดในที่อยู่ ซึ่งจะช่วยปรับปรุงความแม่นยำของแคมเปญการตลาดและโครงการริเริ่มอื่นๆ ที่ขับเคลื่อนด้วยข้อมูล

การตัดสินใจเกี่ยวกับสมมติฐาน

ตัดสินใจเกี่ยวกับสมมติฐานที่จะทดสอบ โดยมี 2 ตัวอย่างดังนี้

1. อัตรา Conversion

เมื่อคุณเพิ่มโซลูชันแบบล่วงหน้า การเพิ่มขึ้นเล็กน้อยของอัตรา Conversion นั้นเป็นเรื่องปกติ และเป็นเมตริกที่ดีที่ควรติดตาม ถ้าคุณเปลี่ยนประเภทล่วงหน้าจากผู้ให้บริการรายอื่น ก็ควรมีอัตรา Conversion คงที่ หากอัตรา Conversion ลดลง สิ่งแรกที่ต้องตรวจสอบคือการติดตั้งใช้งาน

อัตรา Conversion เป็นสิ่งสำคัญ แต่อาจไม่ได้บอกข้อมูลทั้งหมด การเพิ่มโซลูชันการตรวจสอบที่อยู่ออกแบบมาเพื่อตรวจจับผู้ใช้ไม่ให้ส่งที่อยู่ที่มีคุณภาพไม่ดี ณ จุดแรกเข้า และอาจเพิ่มอุปสรรคตามธรรมชาติในการบันทึกข้อมูลที่อยู่ในบางสถานการณ์ ซึ่งอาจทำให้อัตรา Conversion โดยรวมลดลง แต่ก็ไม่ควรถูกมองว่าเป็นสิ่งที่ไม่ดีเสมอไป คำสั่งซื้อที่ยังไม่เสร็จสมบูรณ์ซึ่งเกิดจากการเพิ่มการตรวจสอบที่อยู่อาจเชื่อมโยงกับข้อมูลที่อยู่คุณภาพต่ำซึ่งส่งผลให้เกิดค่าใช้จ่ายทางธุรกิจผ่านการปฏิเสธการชำระเงินในการนำส่ง

2. การลดที่อยู่ที่มีคุณภาพไม่ดี

ซึ่งเป็นที่ที่โซลูชันการตรวจสอบที่อยู่ที่ดีสามารถนำมาใช้ได้ เมื่อใช้การตรวจสอบที่อยู่ คุณควรพบว่าข้อมูลที่อยู่ที่มีคุณภาพลดลง

หากคุณกำลังเปรียบเทียบโซลูชันใหม่กับโซลูชันที่มีอยู่ คุณอาจอยากเปรียบเทียบอัตราการจับคู่ "ที่อยู่ที่ดี" และเลือกบริการที่ให้อัตราการจับคู่สูงกว่า ซึ่งอาจทำให้เกิดความเข้าใจผิด เนื่องจากบริการหนึ่งอาจให้ผลบวกลวงมากกว่าอีกบริการ

แต่เมตริกที่มีประสิทธิภาพมากกว่าคือการเปรียบเทียบผลลัพธ์ที่ประสบความสำเร็จจากการใช้ข้อมูลที่อยู่แทน เมื่อใช้อีคอมเมิร์ซเป็นตัวอย่าง ผลลัพธ์ที่ต้องการจากการบันทึกที่อยู่ก็คือการนำส่งแพ็กเกจที่ประสบความสำเร็จในท้ายที่สุด

สร้าง

ตอนนี้มาถึงส่วนที่น่าตื่นเต้น! ถึงเวลาสร้างโซลูชันใหม่สำหรับลูกค้าของคุณแล้ว เรามีคู่มือฉบับย่อสําหรับการใช้งาน Place Autocomplete และ Address Validation API เพื่อชำระเงินอีคอมเมิร์ซอยู่แล้ว เราขอแนะนําให้คุณดูวิดีโอนี้ขณะทําตามขั้นตอนนี้

แม้ว่าคุณจะไม่ได้สร้างข้อมูลสำหรับอีคอมเมิร์ซโดยเฉพาะ แต่ข้อมูลจำนวนมากก็ยังคงมีความเกี่ยวข้องอยู่ โดยเฉพาะอย่างยิ่งคำแนะนำในการกำหนดคุณภาพที่อยู่จากเอาต์พุตของ Address Validation API

แผนผังสถาปัตยกรรม

ต่อไปนี้คือตัวอย่างคอนเทนเนอร์ที่ใช้สร้างการทดสอบ A/B ในสภาพแวดล้อมอีคอมเมิร์ซได้

[สภาพแวดล้อมการดำเนินการ] การตรวจสอบที่อยู่การทดสอบ A/B

แอปพลิเคชัน บริการ และที่เก็บข้อมูลที่สำคัญในระบบหลักที่ขับเคลื่อนสถาปัตยกรรม (คลิกเพื่อขยาย)

แผนภาพสถาปัตยกรรมแสดงคอนเทนเนอร์ที่ประกอบกันเป็นระบบซอฟต์แวร์การทดสอบ A/B และระบบซอฟต์แวร์ของแอปอีคอมเมิร์ซ โดยจะแสดงลูกค้าไปยังเว็บไซต์อีคอมเมิร์ซที่มีการโต้ตอบกับตัวจัดสรรภาระงาน ซึ่งจะนําลูกค้าไปยังแอปเว็บไซต์อีคอมเมิร์ซ โดย A/B Test Manager จะสื่อสารกับตัวจัดสรรภาระงานเพื่อเลือกตัวแปรการทดสอบ A/B ที่จะแสดงต่อลูกค้า ระบบการทดสอบ A/B นี้ยังบันทึกผลลัพธ์และการกำหนดค่าของการทดสอบ A/B ไว้ในฐานข้อมูลที่คุณเลือกอีกด้วย เว็บแอปอีคอมเมิร์ซเรียก API ไปยังระบบซอฟต์แวร์ Google Maps Platform และยังรายงานเหตุการณ์การวิเคราะห์ไปยังระบบซอฟต์แวร์ Analytics ซึ่งจะบันทึกเหตุการณ์ทดสอบลงในฐานข้อมูลผลการทดสอบ A/B

การตรวจสอบความถูกต้องของการติดตั้งใช้งาน

โซลูชันที่ใช้งานอย่างไม่มีประสิทธิภาพจะทำให้เกิดผลการทดสอบที่ไม่น่าเชื่อถือ ก่อนจะทำการทดสอบ A/B คุณต้องตรวจสอบโซลูชันกับกลุ่มผู้ใช้ขนาดเล็กก่อนเพื่อให้แน่ใจว่าโซลูชันทำงานได้ตามที่คาดไว้ ซึ่งอาจเป็นผู้ทดสอบ QA ภายในและ/หรือกลุ่มผู้ทดสอบภายนอกที่ได้รับเลือก ซึ่งคุณเชื่อถือให้แสดงความคิดเห็นที่สร้างสรรค์

เรียกใช้

การเพิ่มจำนวนอย่างช้าๆ

แม้ว่าโซลูชันจะได้รับการยืนยันแล้ว แต่ก็ยังเป็นความคิดที่ดีที่จะเพิ่มการทดสอบอย่างค่อยเป็นค่อยไปโดยเริ่มจากผู้ใช้กลุ่มเล็กๆ การทำเช่นนี้จะช่วยตรวจจับข้อบกพร่องหรือปัญหาอื่นๆ ได้ตั้งแต่เนิ่นๆ และแก้ไขได้อย่างรวดเร็วโดยไม่ส่งผลกระทบต่อผู้ใช้จำนวนมาก

การทดสอบเต็มรูปแบบ

เมื่อโซลูชันได้รับการทดสอบโดยผู้ใช้กลุ่มเล็กๆ และปัญหาต่างๆ ได้รับการแก้ไขแล้ว เราจะสามารถทำการทดสอบ A/B อย่างเต็มรูปแบบ ซึ่งไม่จำเป็นต้องเป็นการแยกการเข้าชมแบบ 50/50 ที่แท้จริง แต่ควรเป็นขนาดที่เทียบเคียงกันได้กับชุดการใช้งานสดที่เลือกมาแบบสุ่ม

การบันทึกเมตริก

ในระหว่างการทดสอบ คุณควรตรวจสอบว่ามีการบันทึกข้อมูลที่เหมาะสมเพื่อสนับสนุนสมมติฐานของคุณ คุณสามารถใช้แพลตฟอร์มการทดสอบ A/B ระหว่างกระบวนการนี้เพื่อให้การรวบรวมข้อมูลนี้ง่ายขึ้น และการวิเคราะห์ในภายหลัง นอกจากนี้ Google Maps Platform ยังรวบรวมเมตริกการใช้งาน API ที่อาจใช้งานอยู่ คุณสามารถดูหน้านี้เพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับการใช้เครื่องมือการรายงานของเรา

เมตริกที่แนะนำบางส่วนมีดังนี้

Place Autocomplete

อัตรา Conversion: อัตรา Conversion/ความสมบูรณ์ของแบบฟอร์มดีขึ้นหรือไม่จากที่ก่อนหน้านี้ไม่มีโซลูชันการเติมข้อความอัตโนมัติ
การโต้ตอบกับเครื่องมือ: ผู้ใช้โต้ตอบกับการเติมข้อความอัตโนมัติในสถานที่ต่างๆ สำเร็จมากน้อยเพียงใดเมื่อเทียบกับโซลูชันก่อนหน้า

การตรวจสอบที่อยู่

การนำส่งที่สำเร็จ: มีการลดการนำส่งไม่สำเร็จเนื่องจากคุณภาพของที่อยู่หรือไม่
การเปลี่ยนแปลงที่อยู่: จำนวนค่าใช้จ่ายในการเปลี่ยนที่อยู่ที่ได้รับจากผู้ให้บริการจัดส่งมีจำนวนลดลงหรือไม่
ที่พักอาศัยเทียบกับเชิงพาณิชย์: มีการเก็บรวบรวมข้อมูลเกี่ยวกับที่พักอาศัยเทียบกับข้อมูลเชิงพาณิชย์ปรับปรุงหรือไม่ (เฉพาะบางตลาดเท่านั้น)

วิเคราะห์

ตอนนี้การทดสอบสิ้นสุดลงแล้ว ต่อไปก็ถึงเวลาวิเคราะห์ผลลัพธ์เทียบกับเกณฑ์และสมมติฐานเดิมของการทดสอบ หากคุณใช้แพลตฟอร์มการทดสอบ A/B เพื่อดําเนินกระบวนการให้เสร็จสมบูรณ์ ข้อมูลบางอย่างอาจมีให้คุณอยู่แล้ว

กลับไปที่ส่วนการลดที่อยู่คุณภาพต่ำด้านบน คุณยังสามารถใช้เมตริกอื่นๆ ที่แพลตฟอร์มการทดสอบ A/B อาจไม่บันทึกไว้ได้ ซึ่งอาจเป็นอัตราการส่งที่ล้มเหลวระหว่างสถานการณ์การทดสอบ ซึ่งมีข้อมูลตัวอย่างดังนี้

โซลูชัน ก โซลูชัน ข
การนำส่งล้มเหลว 1.75% 1.23%

เมื่อดูจากตัวอย่างพื้นฐานข้างต้น จะเห็นได้ชัดว่าโซลูชัน ข สำหรับกรณีการใช้งานนี้น่าจะเหมาะสมกว่า

บทสรุป

เราหวังว่าคู่มือนี้จะให้ข้อมูลเพียงพอที่จะเริ่มต้นเส้นทางการทดสอบ A/B แม้ว่าจะมีการใช้ตัวอย่างจากพื้นที่อีคอมเมิร์ซ แต่ก็สามารถใช้หลักการพื้นฐานเดียวกันนี้ได้ทั่วทั้งกระดาน ระบุผลลัพธ์ที่ประสบความสำเร็จจากการมีข้อมูลที่อยู่ที่มีคุณภาพดีในธุรกิจ และติดตามสิ่งนั้นเป็นสมมติฐานหลักของคุณ

เรารวมลิงก์ต่างๆ ที่ระบุไว้ในคู่มือไว้ด้านล่างอีกครั้ง ตามที่แนะนำให้อ่านเพิ่ม

ขอให้สนุกกับการทดสอบ

ขั้นตอนถัดไป

ดาวน์โหลดสมุดปกขาวปรับปรุงการชำระเงิน การนำส่ง และการดำเนินการด้วยที่อยู่ที่เชื่อถือได้ และดูการสัมมนาผ่านเว็บเรื่องการปรับปรุงการชำระเงิน การนำส่ง และการดำเนินการด้วยการยืนยันที่อยู่

แนะนำให้อ่านเพิ่มเติม

ผู้ร่วมให้ข้อมูล

ผู้เขียนหลัก:

Henrik Valve | วิศวกรโซลูชัน Google Maps Platform