Android uygulamanızda test çalıştırmak için Firebase Test Lab'i kullanmanın birden fazla yolu vardır. Bu yöntemler arasında komut satırı arayüzü, Android Studio, Firebase konsolundaki Test Lab Kullanıcı Arayüzü ve Testing API yer alır. Testlerinizi başlatmayı seçerseniz sonuçlar, belirttiğiniz Firebase projesinde depolanır. Yukarıdaki araçlara ek olarak ToolResults API'yi kullanarak sonuçları inceleyebilirsiniz. Bu sayfada, bu test sonuçlarının nasıl inceleneceği ve analiz edileceği açıklanmaktadır.
Temel kavramlar
Önceki tüm test çalıştırmalarınızın sonuçlarını görmek için Firebase konsolunda projenizin soldaki gezinme panelinden Test Laboratuvarı'nı seçin. Bu sayfada, Test Lab'i kullanarak projenizde test ettiğiniz uygulamalardaki tüm test çalıştırmaları görüntülenir.
Test sonuçlarını incelemek için öncelikle üç kavramı anlamanız gerekir:
Seçtiğiniz cihazlara ve yapılandırmalara karşı bir test ya da bir dizi test durumu çalıştırdığınızda, Test Lab, testi uygulamanızda toplu olarak çalıştırır, ardından sonuçları bir test matrisi olarak görüntüler.
Cihazlar × Test Yürütme Sayısı = Test Matrisi
- Cihaz
- Telefon, tablet veya giyilebilir cihaz gibi, testi çalıştırdığınız fiziksel veya sanal bir cihaz (yalnızca Android). Test matrisindeki cihazlar; cihaz modeli, OS sürümü, ekran yönü ve yerel ayara (coğrafi konum ve dil ayarları olarak da bilinir) göre tanımlanır.
- Test etme, test yürütme
- Cihazda çalıştırılacak bir test (veya bir dizi test durumu) Her cihaz için bir test çalıştırabilir veya isteğe bağlı olarak testi parçalara ayırıp test durumlarını farklı cihazlarda çalıştırabilirsiniz.
- Test matrisi
- Test uygulamalarınızın durumlarını ve test sonuçlarını içerir. Matristeki herhangi bir test yürütmesi başarısız olursa matrisin tamamı başarısız olur.
Aşağıdaki bölümlerde, test sonuçlarında nasıl gezineceğiniz açıklanmaktadır.
Test geçmişi sonuçlarını yorumlama
Test Lab'i seçerek test sonuçlarınıza gittiğinizde, şu ana kadar çalıştırdığınız testlerin sonuçlarını görürsünüz.
Test geçmişi uygulamaya göre gruplandırılır. Her uygulama için yalnızca en son beş test matrisi gösterilir. Daha fazla test matrisi varsa ilgili uygulamanın tam listesini görmek için uygulama test listesinin altındaki Tüm Matrisler bağlantısını tıklayabilirsiniz.
Test matrisi sonuçlarını yorumlama
Test Lab kullanıcı arayüzü üzerinden bir test başlattığınızda, test matrisinizi görebileceğiniz ve test sonuçlarını görüntülemek üzere belirli bir test yürütmesini tıklayabileceğiniz bir sayfaya yönlendirilirsiniz. Android Studio ve gcloud komutu, test matrisi sonuçlar sayfası için de bir URL sağlar.
Tipik bir test matrisinde, onlarca farklı cihazda bir test gerçekleştirebilirsiniz. Her test yürütmesinin farklı bir sonucu olabilir. Bir test matrisinde herhangi bir test yürütmesinin olası sonuçları aşağıdakileri içerir:
başarılı: Herhangi bir hatayla karşılaşılmadı.
- Başarısız
: En az bir hatayla karşılaşıldı.
- Yetersiz
: Test sonuçları kesin değildi. Muhtemelen Test Lab hatası nedeniyle.
- Atlandı:
: Matristeki bazı test yürütme işlemleri için seçilen boyut değerleri uyumsuzdu. Bu durum, seçtiğiniz cihazlar seçtiğiniz Android API düzeylerinden bir veya daha fazlasıyla uyumlu olmadığında ortaya çıkar.
Firebase projenizdeki belirli bir uygulamanın tüm test matrislerinin toplu test sonuçlarını incelemek için aşağıdaki örnekte gösterildiği gibi uygulama adını tıklayın:
Yalnızca dört test yürütmesi içeren örnek test matrisi sonuç sayfası
Uygulamanızın test matrisi listesine yönlendirilirsiniz. Burada test matrisi sonuçlarını görmek için herhangi bir test matrisinin adını tıklayabilir ve Firebase projenizle ilişkili diğer uygulamaların test matrisi listesini görüntülemek için uygulama adını (aşağıdaki kırmızı kutuda gösterilmiştir) tıklayabilirsiniz.
Örnek test matrisi listesi sayfası
Bir test matrisi başarılı, başarısız veya yetersiz olabilir. Bir matristeki test yürütmeleri başarısız ya da yetersiz olursa test matrisi başarısız veya yetersiz olarak gösterilir.
Robo test sonuçlarını yorumlama
Testlerinizi Robo ile çalıştırdıysanız sonuçlarınız normal test metriklerinin yanı sıra kullanıcı arayüzünü nasıl taradığını gösteren videolar ve ekran görüntüleri içerir. Bu video ve ekran görüntüleri, Android'deki "Dokunmaları göster" özelliğine benzer şekilde, Robo'nun tarama sırasında gerçekleştirdiği işlemlerin görsel göstergelerini içerir. Bu göstergeleri, Robo'nun ilerlemesini takip etmenize ve ortaya çıkarabileceği hataları yeniden oluşturmanıza yardımcı olması için kullanabilirsiniz.
Örnek Robo test sonuçları videosu
Tek bir test yürütmesinin sonuçlarını yorumlama
Test matrisi sonuç sayfasında, test yürütme işlemlerinden birini tıklayarak o testin sonucunu görebilirsiniz.
Örnek test yürütme sonuçları sayfası
Bu sayfada her bir test yürütme işlemi için gereken süreyi görebilirsiniz. Ayrıca, test APK'nızdaki yöntemlere (araç testleri için) ve test günlükleri, ekran görüntüleri ve videolar dahil ayrıntılı test sonuçlarına karşılık gelen belirli test durumlarının sonuçlarını da görebilirsiniz. Robo testi için ayrıntılı test sonuçları, Robo test tarafından ziyaret edilen kullanıcı arayüzü yollarını grafik olarak gösteren bir etkinlik haritası da içerir.
Bölümlendirilmiş araçlar test sonuçları
Test Lab, araçlı test sonuçlarını yorumlamanıza yardımcı olmak için her bir testi yığın izlemeler, günlükler ve videolarla birlikte kendi ayrıntılı rapor sayfasına ayırır. Bu özellik, Android Orchestrator kullanıp kullanmadığınızdan bağımsız olarak çalışır.
Örnek test durumu sonuç sayfası
Erişilebilirlik sonuçlarını yorumlama
Robo testleri, uygulamanızdaki erişilebilirlik sorunlarını algılamak için Android Erişilebilirlik Tarayıcısı'nı kullanır (cihazınızda yerel olarak tarama da çalıştırabileceğinizi unutmayın). Robo testinizin erişilebilirlik sonuçlarını nasıl gözden geçireceğiniz ve yorumlayacağınızla ilgili talimatlar için Erişilebilirlik Tarayıcısı'nı kullanmaya başlama sayfasını ziyaret edin.
Uygulamanızın erişilebilirliğini iyileştirme konusunda genel bilgiler için Android Geliştirici Erişilebilirliği dokümanlarını ziyaret edin.
Performans metrikleri
Fiziksel cihazlarda çalıştırılan testler, performans metriklerini de döndürür:
| Metrik | Gerekli cihaz yapılandırması |
|---|---|
| Uygulama başlatma süresi | API 19 ve sonraki sürümler |
| CPU kullanımı | API 21 ve sonraki sürümler |
| Bellek kullanımı | |
| Ağ etkinliği | |
| Saniyedeki kare sayısı | API 21+ ve SurfaceView içerir |
| Grafik performansı | API 23 ve sonraki sürümler |
Grafik performansı ayrıntıları
Grafik performansı raporu bazı önemli grafik metriklerine ilişkin istatistikleri içerir:
- Eksik Vsync: Eksik Vsync etkinlikleri sayısının, oluşturulması 16 ms.den uzun süren kare sayısına bölümü.
- Yüksek giriş gecikmesi: 24 ms.den uzun süren giriş etkinlikleri sayısının, oluşturulması 16 ms.den uzun süren kare sayısına bölümü.
- Yavaş kullanıcı arayüzü iş parçacığı: Tamamlanması 8 ms.den uzun süren kullanıcı arayüzü iş parçacıklarının sayısının, oluşturulması 16 ms.den uzun süren kare sayısına bölümü.
- Yavaş gerçekleşen çizim komutu sayısı: GPU'ya çizim komutu göndermenin 12 ms.den uzun sürdüğü işlem sayısının, oluşturulması 16 ms.den uzun süren kare sayısına bölünmesiyle elde edilen değer.
- Yavaş bit eşlem yüklemeleri: Bit eşlemin GPU'ya yüklenmesinin 3,2 ms.den uzun sürdüğü işlem sayısının, oluşturulması 16 ms.den uzun süren kare sayısına bölümü.
- Oluşturma süresi: Test çalıştırmasının her karesi için oluşturma sürelerinin dağılımı. 32 milisaniyeden uzun süren işleme süreleri, kullanıcı arayüzünüzün algılanabilir şekilde yavaşlamasına neden olur. 700'den fazla sayıda oluşturma süresi, donmuş kareleri gösterir. Oluşturma verileri
dumpsys graphicsstatsüzerinden toplanır.
Ayrıntılı test sonuçları
Ayrıntılı test sonuçları, test çalıştırdıktan sonra 90 gün boyunca kullanılabilir ve bir Google Cloud Storage paketinde depolanır (ancak bu işlemleri Firebase konsolunda da görebilirsiniz). Test yürütme sonuçları sayfasında Test sonuçları'nı tıkladığınızda Cloud Storage paketinde ayrıntılı test sonuçlarını görüntüleyebilirsiniz. Ayrıntılı test sonuçları artık sunulmasa da hangi testlerin başarılı veya başarısız olduğunu görebilirsiniz.
Ayrıntılı test sonuçlarını 90 günden daha uzun süre saklamak için bu test sonuçlarını --results-bucket gcloud komut satırı seçeneğini kullanarak sahibi olduğunuz bir Cloud Storage paketine göndermeniz gerekir. Ardından, sonuçların Cloud Storage paketinizde ne kadar süre saklanacağını belirlemek için Yaş ayarını belirleyebilirsiniz. Yaş ayarının nasıl değiştirileceği hakkında bilgi için Yaşam döngüsü koşulları bölümünü inceleyin.