Kararsız test (flaky test)
Son güncelleme
Kararsız bir test, hiçbir şey değişmeden aynı kod üzerinde bazen geçer, bazen başarısız olur. Yaygın nedenleri, kapılara güveni neden aşındırdığı ve AI CodeOps'ta yeniden çalıştırmalar.
Kararsız test, aradan hiçbir şey değişmeden aynı kod üzerinde bazen geçen, bazen başarısız olan bir testtir. Sonuç, testin kontrol etmediği bir şeye bağlıdır.
Nedir
Yaygın nedenler:
- Zamanlama: sabit beklemeler, iş parçacıkları arasındaki yarış durumları veya yavaş bir makinede fazla dar kalan bir zaman aşımı.
- Sıra: başka bir testin geride bıraktığı duruma bağlı testler.
- Paylaşılan kaynaklar: paralel çalışan testlerin kullandığı bir veritabanı, port veya dosya.
- Dış dünya: ağ çağrıları, güncel tarih, saat dilimleri veya sabit bir tohum (seed) olmadan üretilen rastgele değerler.
Bir makinede başarısız olup başka bir makinede geçen bir test, ilişkili bir sorundur; genellikle bir ortam farkından kaynaklanır.
Neden önemlidir
Her kararsız başarısızlık, insanlara kırmızının bozuk anlamına gelmediğini öğretir. Ekipler yeşil olana kadar yeniden çalıştırmaya başlar ve sonra gerçek bir başarısızlık da yeniden çalıştırılarak ortadan kaldırılır. Testler üzerine kurulu bir kapı, ancak içindeki en az güvenilir test kadar güvenilirdir. Test yazan yapay zekâ ajanları, kapsam ekledikleri kadar kolay kararsızlık da ekleyebilir; bu yüzden yeni testler de yeni kod kadar titiz incelenmeyi hak eder.
AI CodeOps'ta
AI CodeOps kararsız testleri tespit etmez veya karantinaya almaz. Yayın kapısı her iş akışını tamamlanan en son çalıştırmasına göre değerlendirir: geçen bir yeniden çalıştırma önceki bir başarısızlığı temizler; hâlâ devam eden veya iptal edilen (canceled) bir yeniden çalıştırma ise geçmiş sayılmaz. Test sonuçları yalnızca üzerinde çalıştıkları kod sürümü için geçerlidir.
Sık sorulan sorular
Kararsız testleri otomatik olarak yeniden denemem yeterli mi?
Geçici bir çözüm olarak, dikkatle. Otomatik yeniden denemeler, gerçek aralıklı hataları da gizler. Hangi testlerin yeniden denemeye ihtiyaç duyduğunu takip edin ve onları düzeltin veya karantinaya alın.
AI CodeOps kararsız testleri tespit eder mi?
Hayır. Test sonuçlarını çalıştırma başına kaydeder. Yayın kapısı her iş akışını, tamamlanan en son çalıştırmasına göre değerlendirir.