Google का इस्तेमाल करने वाले लोगों की बदलती ज़रूरतों और उम्मीदों को पूरा करने के लिए, Search में लगातार बदलाव होता आ रहा है. नॉलेज़ ग्राफ़ जैसे प्रयोगों के साथ अपने सिस्टम को अपडेट करने के पीछे हमारा मकसद है कि आपको मिलने वाले नतीजों में सुधार करके, उन्हें आपके लिए ज़्यादा काम का बनाया जाए.

मेट्रिक के विश्लेषण के लिए, हम आकलन के बेहद कड़े प्रोसेस से Search के लिए मुमकिन बदलाव करते हैं, ताकि हम यह फैसला ले सकें कि सुझाए गए बदलाव लागू किए जाएं या नहीं.

अनुभवी इंजीनियर और खोज से जुड़े विश्लेषक के साथ-साथ कानूनी और निजता विशेषज्ञ, आकलन और प्रयोगों से मिले इन डेटा की बहुत ध्यान से समीक्षा करते हैं. इसके बाद ही किसी तरह के बदलाव को मंज़ूरी दी जाती है. साल 2022 में, हमने 6,00,000 से भी ज़्यादा प्रयोग किए थे और इन प्रयोगों की मदद से, Search में 4,000 से भी ज़्यादा सुधार किए गए.

Search के लिए सुझाए गए हर एक बदलाव को समीक्षा के लिए, हमारे सबसे अनुभवी इंजीनियरों और डेटा साइंटिस्टों के पास भेजा जाता है, जो अलग-अलग प्रयोगों के ज़रिए, ध्यान से डेटा की समीक्षा करके, यह तय करते हैं कि सुझाया गया बदलाव लॉन्च के लिए स्वीकार किया जाना चाहिए या नहीं. पिछले साल के सुझाए गए कई बदलाव कभी लागू ही नहीं हो पाए, क्योंकि जब तक हम यह नहीं देख पाते कि सुझाया गया बदलाव वाकई लोगों के लिए चीजों को बेहतर करेगा, तब तक हम उसे लॉन्च नहीं करते.

किसी भी सुविधा को सभी के लिए लॉन्च करने से पहले, हम लाइव ट्रैफ़िक प्रयोग करते हैं. इन प्रयोगों की मदद से, हम यह पता लगाते हैं कि वास्तविक उपयोगकर्ता इस सुविधा का कैसे इस्तेमाल करते हैं. इसी के तहत हम कुछ ही लोगों के लिए इस सुविधा को चालू करते हैं. आम तौर पर यह 0.1% लोगों के लिए ही चालू की जाती है. इसके बाद, हम इस सुविधा का इस्तेमाल करने वालों की तुलना, इस सुविधा का इस्तेमाल नहीं करने वालों से करते हैं. यह तुलना कई मेट्रिक के आधार पर होती है, जैसे कि लोगों ने किस पर क्लिक किया, कितनी क्वेरी की गई, कितनी क्वेरी बीच में ही छोड़ दी गई, और लोगों ने किसी नतीजे पर क्लिक करने में कितना समय लिया, वगैरह. इन नतीजों की मदद से, हम यह पता करते है कि लोगों को यह नई सुविधा कितनी पसंद आई. साथ ही, इससे यह भी पक्का हो जाता है कि हम जो बदलाव कर रहे हैं उसके ज़रिए लोगों को ज़्यादा काम के और फ़ायदेमंद नतीजे दिख रहे हैं.