टेस्ट लैब से जुड़ी समस्याओं का हल और अक्सर पूछे जाने वाले सवाल

मेरा टेस्ट पूरा होने में इतना समय क्यों लग रहा है?

अगर टेस्ट लैब के कैटलॉग में, ज़्यादा क्षमता वाला डिवाइस चुना जाता है, तो जांच तेज़ी से शुरू हो सकती है. जब किसी डिवाइस की क्षमता कम होती है, तो जांच में ज़्यादा समय लग सकता है. अगर शुरू किए गए टेस्ट की संख्या, चुने गए डिवाइसों की क्षमता से ज़्यादा है, तो टेस्ट को पूरा होने में ज़्यादा समय लग सकता है.

डिवाइस की कपैसिटी के किसी भी लेवल पर की जाने वाली जांच में ज़्यादा समय लग सकता है. ऐसा इन वजहों से हो सकता है:

• ट्रैफ़िक, जिससे डिवाइस की उपलब्धता और जांच की स्पीड पर असर पड़ता है.
• डिवाइस या इन्फ़्रास्ट्रक्चर से जुड़ी समस्याएं, किसी भी समय हो सकती हैं. यह देखने के लिए कि टेस्ट लैब के लिए कोई इन्फ़्रास्ट्रक्चर रिपोर्ट किया गया है या नहीं, Firebase का स्टेटस डैशबोर्ड देखें.

टेस्ट लैब में डिवाइस की कपैसिटी के बारे में ज़्यादा जानने के लिए, Android और iOS डिवाइस की कपैसिटी से जुड़ी जानकारी देखें.

मुझे जांच के नतीजे अधूरे क्यों मिल रहे हैं?

आम तौर पर, टेस्ट के रद्द हो जाने या इन्फ़्रास्ट्रक्चर की गड़बड़ियों की वजह से कोई ठोस नतीजा नहीं मिलता है.

इंफ़्रास्ट्रक्चर से जुड़ी गड़बड़ियां, टेस्ट लैब में अंदरूनी समस्याओं की वजह से होती हैं. जैसे, नेटवर्क की गड़बड़ियां या डिवाइस का अनचाहा व्यवहार. टेस्ट लैब आंतरिक तौर पर ऐसे टेस्ट बंद कर देता है, जिनमें कोई ठोस नतीजा न मिलने से पहले, इन्फ़्रास्ट्रक्चर की गड़बड़ियां कई बार दिखाई जाती हैं. हालांकि, failFast का इस्तेमाल करके फिर से इन कोशिशों को बंद किया जा सकता है.

गड़बड़ी की वजह जानने के लिए, यह तरीका अपनाएं:

1. Firebase स्टेटस डैशबोर्ड में ऐसी रुकावटों की जांच करें जिनके बारे में पहले से जानकारी है.

2. यह पुष्टि करने के लिए कि यह फिर से बनाया जा सकता है, टेस्ट लैब में जांच दोबारा करें.

3. अगर लागू हो, तो किसी दूसरे डिवाइस या डिवाइस टाइप पर टेस्ट करें.

अगर समस्या बनी रहती है, तो Firebase Slack पर #test-lab चैनल में टेस्ट लैब टीम से संपर्क करें.

शार्डिंग से मेरे परीक्षण लंबे समय क्यों चले?

अगर आपने शार्ड की संख्या तय की है, तो टेस्ट लैब में इस्तेमाल के लिए उपलब्ध डिवाइसों की संख्या से ज़्यादा होने पर, शार्डिंग से आपके टेस्ट लंबे समय तक चल सकते हैं. इस स्थिति से बचने के लिए, किसी दूसरे डिवाइस का इस्तेमाल करें. कोई दूसरा डिवाइस चुनने के बारे में ज़्यादा जानकारी के लिए, डिवाइस की कपैसिटी.

मेरा टेस्ट शुरू होने में ज़्यादा समय क्यों लग रहा है?

जांच का अनुरोध सबमिट करने पर, पहले आपके ऐप्लिकेशन की पुष्टि की जाती है, दोबारा साइन इन किया जाता है वगैरह. ऐसा डिवाइस पर टेस्ट चलाने के लिए किया जाता है. आम तौर पर, इस प्रोसेस में कुछ सेकंड से भी कम समय लगता है. हालांकि, इस प्रोसेस पर आपके ऐप्लिकेशन के साइज़ जैसी चीज़ों की वजह से असर पड़ सकता है.

आपका ऐप्लिकेशन तैयार होने के बाद, जांच के नतीजे शेड्यूल किए जाते हैं और तब तक कतार में बने रहते हैं, जब तक डिवाइस उन्हें चलाने के लिए तैयार नहीं हो जाता. जब तक सभी जांच लागू नहीं हो जातीं, तब तक मैट्रिक्स की स्थिति "मंज़ूरी बाकी है" रहेगी. भले ही, जांच की प्रोसेस सूची में है या चल रही है.

मेरे टेस्ट को पूरा होने में ज़्यादा समय क्यों लग रहा है?

जांच पूरी होने के बाद, जांच वाले आर्टफ़ैक्ट को डिवाइस से डाउनलोड किया जाता है. इसके बाद, उन्हें प्रोसेस और Cloud Storage में अपलोड किया जाता है. इस चरण की अवधि, आर्टफ़ैक्ट की संख्या और साइज़ के हिसाब से तय हो सकती है.

टेस्ट लैब के लिए, बिना कोई शुल्क चुकाए मिलने वाला कोटा क्या है? अगर मेरा स्टोरेज भर जाता है, तो मुझे क्या करना चाहिए?

Firebase टेस्ट लैब, डिवाइसों पर टेस्टिंग और Cloud API इस्तेमाल करने के लिए बिना किसी शुल्क के कोटा उपलब्ध कराता है. ध्यान दें कि टेस्टिंग कोटा में स्टैंडर्ड Firebase प्राइसिंग प्लान का इस्तेमाल होता है, जबकि Cloud API कोटा में ऐसा नहीं होता.

• टेस्टिंग कोटा

  जांच का कोटा, जांच के लिए इस्तेमाल किए जाने वाले डिवाइसों की संख्या के आधार पर तय होता है. Firebase Spark प्लान के लिए, टेस्टिंग कोटा तय है. इसके लिए उपयोगकर्ताओं को कोई शुल्क नहीं देना होगा. ब्लेज़ प्लान के लिए, अगर समय के साथ Google क्लाउड का इस्तेमाल बढ़ता है, तो आपका कोटा बढ़ सकता है. अगर आपका टेस्टिंग कोटा पूरा हो गया है, तो अगले दिन तक इंतज़ार करें या अगर आप अभी Spark प्लान में हैं, तो Blaze प्लान पर अपग्रेड करें. अगर आप पहले से ही Blaze प्लान पर हैं, तो कोटा बढ़ाने का अनुरोध कर सकते हैं. ज़्यादा जानकारी के लिए, टेस्टिंग कोटा देखें.

  Google Cloud Console में, टेस्टिंग कोटा के इस्तेमाल पर नज़र रखी जा सकती है.

• Cloud Testing API का कोटा

  Cloud Testing API में दो कोटे की सीमाएं होती हैं: हर प्रोजेक्ट के लिए हर दिन अनुरोध और हर प्रोजेक्ट के लिए, हर 100 सेकंड पर किए जाने वाले अनुरोध. Google Cloud Console में, Chrome के इस्तेमाल को मॉनिटर किया जा सकता है.

• Cloud Tool के खोज के नतीजे एपीआई कोटा

  Cloud Tool के रिज़ल्ट एपीआई में दो सीमाएं होती हैं: हर प्रोजेक्ट के लिए हर दिन क्वेरी और हर प्रोजेक्ट के लिए हर 100 सेकंड पर क्वेरी. Google Cloud Console में, Chrome के इस्तेमाल को मॉनिटर किया जा सकता है.

  एपीआई की सीमाओं के बारे में ज़्यादा जानकारी पाने के लिए, टेस्ट लैब के लिए Cloud API का कोटा देखें. अगर आपने एपीआई कोटा पूरा कर लिया है, तो:

  • सीधे Google Cloud Console में जाकर, कोटे में बदलाव करके ज़्यादा कोटा पाने का अनुरोध सबमिट करें. ध्यान दें कि ज़्यादातर सीमाएं डिफ़ॉल्ट रूप से सबसे ज़्यादा पर सेट होती हैं या

  • Google Cloud Console में अनुरोध फ़ॉर्म भरकर या Firebase की सहायता टीम से संपर्क करके, एपीआई कोटा बढ़ाने का अनुरोध करें.

मुझे कैसे पता चलेगा कि मेरे बैकएंड तक पहुंच रहा ट्रैफ़िक, टेस्ट लैब से आ रहा है?

अपने बैकएंड से, यह पता लगाया जा सकता है कि ट्रैफ़िक, Firebase के होस्ट किए गए टेस्ट डिवाइसों से आ रहा है या नहीं. इसके लिए, सोर्स आईपी पते की जांच, हमारी आईपी रेंज से करें.

क्या टेस्ट लैब, VPC-SC के साथ काम करता है?

टेस्ट लैब, VPC-SC के साथ काम नहीं करता. इससे टेस्ट लैब के इंटरनल स्टोरेज और उपयोगकर्ताओं के नतीजों की बकेट के बीच, ऐप्लिकेशन और टेस्ट से जुड़े अन्य आर्टफ़ैक्ट को कॉपी नहीं किया जा सकता.

मैं टेस्ट लैब में फ़्लैकी टेस्ट का पता कैसे लगाऊं?

हमारा सुझाव है कि टेस्ट में गड़बड़ियों का पता लगाने के लिए, --num-flaky-test-attempts विकल्प इस्तेमाल करें. Deflake को फिर से चलाने पर आपके हर दिन के कोटे के हिसाब से बिल भेजा जाता है या इसे सामान्य टेस्ट एक्ज़ीक्यूशन के तौर पर गिना जाता है.

निम्नलिखित का ध्यान रखें:

• किसी गड़बड़ी का पता चलने पर, जांच की पूरी प्रोसेस फिर से चालू हो जाती है. सिर्फ़ फ़ेल हो चुके टेस्ट केस दोबारा कोशिश करने की सुविधा उपलब्ध नहीं है.
• Deflake के साथ फिर से कोशिश करने को एक साथ चलाने के लिए शेड्यूल किया गया है. हालांकि, इसके साथ-साथ चलने की गारंटी नहीं दी जाती. उदाहरण के लिए, ऐसा तब हो सकता है, जब ट्रैफ़िक, उपलब्ध डिवाइसों की संख्या से ज़्यादा हो जाता है.

क्या टेस्ट लैब इन सुविधाओं के लिए काम करता है: Appium, Flutter/FlutterDriver, ReactNative/Jest या Cucumber?

इनमें से कुछ आइटम हमारे रोडमैप पर हैं, लेकिन फ़िलहाल हम इन प्लैटफ़ॉर्म को टेस्टिंग और ऐप्लिकेशन डेवलपमेंट प्लैटफ़ॉर्म में मदद करने का वादा नहीं कर सकते.

मुझे डिवाइस की जानकारी कहां मिल सकती है, जैसे कि रिज़ॉल्यूशन वगैरह?

एपीआई के ज़रिए, डिवाइस की पूरी जानकारी उपलब्ध है. इसे gcloud क्लाइंट से ऐक्सेस किया जा सकता है. इसके लिए, जानकारी दें निर्देश का इस्तेमाल करें:

gcloud firebase test ios models describe MODEL

क्या iOS टेस्ट के साथ शार्डिंग का इस्तेमाल किया जा सकता है?

iOS के लिए टेस्ट लैब में शार्डिंग की सुविधा मूल रूप से काम नहीं करती. हालांकि, iOS टेस्ट केस को शार्ड करने के लिए, Flank क्लाइंट का इस्तेमाल किया जा सकता है.

यह .xctestrun फ़ाइल में OnlyTestIdentifiers बटन और वैल्यू को सेट करने पर काम करता है. ज़्यादा जानकारी के लिए, xcodebuild.xctestrun के man पेज पर जाएं.

साइन-इन कैप्चा

रोबो टेस्ट उन साइन-इन स्क्रीन को बायपास नहीं कर सकता जिनमें साइन इन करने के लिए क्रेडेंशियल डालने के अलावा, उपयोगकर्ता को कुछ और कार्रवाई करनी पड़ती है. जैसे, कैप्चा को पूरा करना.

यूज़र इंटरफ़ेस (यूआई) फ़्रेमवर्क के लिए सहायता

रोबो टेस्ट उन ऐप्लिकेशन के साथ सबसे अच्छी तरह काम करता है जो Android यूज़र इंटरफ़ेस (यूआई) फ़्रेमवर्क के यूज़र इंटरफ़ेस (यूआई) एलिमेंट का इस्तेमाल करते हैं. इन एलिमेंट में View, ViewGroup, और WebView ऑब्जेक्ट शामिल हैं. अगर रोबो टेस्ट का इस्तेमाल, अन्य यूज़र इंटरफ़ेस (यूआई) फ़्रेमवर्क का इस्तेमाल करने वाले ऐप्लिकेशन के लिए किया जाता है. इनमें Unity गेम इंजन का इस्तेमाल करने वाले ऐप्लिकेशन भी शामिल हैं, तो हो सकता है कि टेस्ट पहली स्क्रीन के बिना एक्सप्लोर किए बिना बंद हो जाए.