- Ana sayfa
- Öğrenme merkezi
- Test kapsamı kapıları: alt sınırlar, yeni kod kapsamı ve sınırları
Test kapsamı kapıları: alt sınırlar, yeni kod kapsamı ve sınırları
Son güncelleme
Test kapsamı kapılarının nasıl çalıştığı, satır ve dal kapsamı, projenin tamamı yerine yeni kodu kapıdan geçirmek ve kapsamın testlerinizin bir şey kontrol ettiğini neden kanıtlayamadığı.
Bu sayfada
Test kapsamı kapısı, ölçülen test kapsamı belirlenmiş bir alt sınırın altına düştüğünde bir değişikliği başarısız kılar. Hesaplaması ucuz ve anlaşılması kolay olduğu için en yaygın kalite kapılarından biridir. Aynı zamanda en çok yanlış okunanlardan biridir: kapsam, testlerin herhangi bir şeyi kontrol edip etmediğini değil, testler sırasında ne kadar kodun çalıştığını gösterir. İyi kullanıldığında bir kapsam kapısı test kapsamının düşmesini durdurur ve her değişikliği testlerle birlikte gelmeye yönlendirir. Kendi başına bir hedef olarak kullanıldığında ise bir sayıyı yükseltmek için yazılmış testler üretir.
Bu sayfa, Kalite kapıları nedir? rehberindeki bir kanıt türünü daha ayrıntılı ele alır.
Kapsam neyi ölçer
Kapsam araçları kodu enstrümante eder, testleri çalıştırır ve hangi kısımların çalıştığını kaydeder. Yaygın ölçüler şunlardır:
- Satır veya ifade (statement) kapsamı. En az bir kez çalışan satırların veya ifadelerin payı. En yaygın bulunanıdır.
- Dal kapsamı. Çalışan karar sonuçlarının payı: her
ifiçin hem doğru hem yanlış yol. Satır kapsamından daha katıdır, çünkü bir koşul içeren bir satır, iki sonucu da test edilmeden çalışabilir. - Fonksiyon kapsamı. En az bir kez çağrılan fonksiyonların payı.
- Koşul ve karar kapsamı. Güvenlik açısından kritik yazılımlarda kullanılan daha katı biçimler. Örneğin değiştirilmiş koşul/karar kapsamı (MC/DC), DO-178C kılavuzu kapsamında havacılık yazılımlarının en kritik seviyesi için zorunludur.
Çoğu ekip, her yaygın araç raporladığı için satır kapsamıyla kapıdan geçirir ve araçlarının güvenilir şekilde raporladığı yerlerde dal kapsamını ekler.
Kapsam kapısı türleri
Yaygın üç tasarım vardır ve oldukça farklı davranırlar.
| Kapı | Kural | Güçlü yanı | Zayıf yanı |
|---|---|---|---|
| Proje alt sınırı | Toplam kapsam %N'de veya üzerinde kalmalıdır | Basit; uzun vadeli düşüşü durdurur | Küçük bir değişiklik, test edilmiş olsun olmasın toplamı zor kıpırdatır |
| Yeni kod (diff) kapsamı | Eklenen veya değişen satırlar %N oranında kapsanmalıdır | Her değişikliği çıtaya tabi tutar | Kapsamı diff'e eşleyen araçlar gerektirir |
| Düşüş yok (cırcır) | Kapsam kaydedilen son değerin altına düşmemelidir | Büyük bir ilk sıçrama olmadan istikrarlı iyileşme | Test edilmiş kodu silen geçerli bir değişikliği engelleyebilir |
Proje alt sınırı kurulması en kolay ve değişiklik başına en zayıf olanıdır: büyük bir kod tabanında birkaç yüz satırlık test edilmemiş bir değişiklik toplamı yüzde birin kesri kadar değiştirebilir. Yeni kod kapsamı, tek tek değişiklikleri incelemek için en faydalı olanıdır, çünkü doğrudan bir soru sorar: bu değişikliğin eklediği satırlar testler tarafından çalıştırılıyor mu?
Kapsamın size söyleyemeyecekleri
Kapsam bir çalıştırma ölçüsüdür; bu yüzden bir kapı için önemli olan kör noktaları vardır.
- Doğrulamalar. Bir fonksiyonu çağırıp hiçbir şeyi kontrol etmeyen bir test, çalıştırdığı her satırı yine de kapsar.
- Beklentilerin doğruluğu. Yanlış değeri doğrulayan bir test kodu kapsar ve geçer.
- Eksik davranış. Kapsam var olan kodu ölçer. Eksik bir izin testi gibi eksik bir kontrolün kapsanmamış olabilecek hiçbir satırı yoktur.
- Entegrasyon etkileri. Yüksek birim testi kapsamı, bileşenlerin birlikte nasıl davrandığı hakkında çok az şey söyler.
Bir de genellikle Goodhart yasası olarak özetlenen davranışsal bir etki vardır: bir ölçü hedef hâline geldiğinde iyi bir ölçü olmaktan çıkar. Yalnızca sayıyı ödüllendiren bir kapı, onu yükseltmek için yazılmış testleri davet eder.
Kapsam ve yapay zekânın yazdığı kod
Kapsam kapıları, bir yapay zekâ ajanının testleri kodun yerine değil, koduyla birlikte yazdığını kontrol etmenin ucuz bir yoludur. Aynı zamanda bir ajanın gerçek test yapmadan, genellikle aldatma niyeti olmadan karşılaması kolaydır: ajandan geçen testler ve kapsam istenmiştir ve o da bunları üretmiştir.
Yapay zekânın yazdığı testlerde dikkat edilecek kalıplar:
- kodu çağırıp yalnızca hiçbir istisna fırlatılmadığını doğrulayan testler;
- kod ne döndürürse onu beklenen değer olarak kaydeden snapshot testleri;
- test edilen mantığın yerini alan ve böylece testin mock'u kontrol etmesine yol açan mock'lar;
- uygulamadan üretilen ve onun hatalarını beklenti olarak tekrarlayan testler.
Kapsamı her değişikliğin geçmesi gereken bir alt sınır, test diff'ini ise bir inceleyicinin okuduğu bir şey olarak ele alın. Neye bakılacağı için bkz. Bir yapay zekâ ajanının yazdığı kod nasıl incelenir.
Kapsamla eşleştirilecek daha iyi sinyaller
- Mutasyon testi. Bir araç kodda bir karşılaştırmayı tersine çevirmek gibi küçük değişiklikler yapar ve herhangi bir testin başarısız olup olmadığını kontrol eder. Hayatta kalan mutasyonlar, test altında çalışan ancak gerçekte kontrol edilmeyen kodu ortaya çıkarır. Çoğu dil için araçlar vardır; örneğin JavaScript ve TypeScript için Stryker, Java için PIT ve Python için mutmut. Kapsamdan daha yavaştırlar; bu yüzden ekipler onları genellikle bir zamanlamayla veya yalnızca değişen dosyalarda çalıştırır.
- Düzeltmeler için regresyon testleri. Bir hata düzeltmesi, düzeltme olmadan başarısız olan bir test içermelidir. Bu test, kapsamın kanıtlayamadığı bir şeyi kanıtlar.
- Test diff'inin incelenmesi. Silinen testler, gevşetilen doğrulamalar ve değiştirilen beklentiler diff'te görünür, bir kapsam sayısında ise görünmez.
Bir kapsam alt sınırı belirlemek
- Önce ölçün. Ana branch'te kapsamı çalıştırın ve her proje için güncel değeri not edin.
- Kapı türünü seçin. Araçlarınız destekliyorsa yeni kod kapsamı; aksi hâlde bir proje alt sınırı artı bir cırcır.
- Alt sınırı bugünkü sayıya yakın belirleyin. Kod tabanının zaten karşıladığı bir alt sınır ilk günden uygulanabilir.
- Bilinçli olarak hariç tutun. Üretilmiş kod, projeye dahil edilmiş (vendored) kod ve test yardımcıları, kod gibi incelenen bir yapılandırmada hariç tutulabilir. Sessiz hariç tutmalar kapıyı kandırmanın bir yoludur.
- Kapsam değeri olmadığında ne olacağına karar verin. Bir test çalıştırması kapsam raporlamazsa kapı ya engeller ya da alt sınırı atlar ve bunu söyler. Onu geçiyor olarak göstermeyin.
- Zamanla yükseltin. Alt sınırı düzenli aralıklarla gözden geçirin ve kapsam yükseldiğinde yükseltin.
AI CodeOps bunu nasıl yapar
Bir AI CodeOps oturumu projenizin testlerini kendi sandbox'ında çalıştırdığında, çıktı bir özet taşıyorsa toplam kapsam değerini test çıktısından okur: bir pytest-cov TOTAL satırı, bir Istanbul All files satırı (Jest ve Vitest'in yazdırdığı hâliyle; ilk sütunu, yani ifadeler) veya coverage: 85.3% gibi etiketli bir satır. Değer, aşağı yuvarlanmış bir tam sayı olarak test çalıştırmasıyla birlikte saklanır.
Kapsam alt sınırı, CI'ınızın çağırdığı yayın kontrolünün minCoveragePct seçeneğidir:
{ "pullRequestURL": "https://github.com/acme/checkout/pull/42", "minCoveragePct": 80 }
Bu ayarlıyken, kapsam raporlayan en son test çalıştırmasının alt sınırı karşılaması gerekir; aksi hâlde yayın "Coverage 71% is below the required 80%" gibi bir gerekçeyle reddedilir. Değişiklik üzerindeki hiçbir test çalıştırması kapsam raporlamadıysa yayın yine reddedilir: "Coverage wasn't reported, so the 80% floor can't be checked". Kontrol edilecek bir sayı olmayan bir alt sınır geçmez. Bu yüzden bir alt sınır belirlemeden önce test komutunuzun bir özet yazdırmasını sağlayın; örneğin pytest --cov veya vitest run --coverage. Konsoldaki oturum başına kapı başarısız testleri engeller ancak kapsamı kontrol etmez. Başarısız testler, kapsam ne olursa olsun yayını reddeder.
Daha fazla ayrıntı için kapsam alt sınırı maddesine, her yayın kontrolü seçeneği için API referansına ve testlerin nasıl çalıştığı için Yapay zekâ ile test sayfasına bakın.
Sık sorulan sorular
İyi bir test kapsamı yüzdesi nedir?
Evrensel bir sayı yoktur. Kod tabanının bugün nerede olduğunu ölçün, alt sınırı buna yakın belirleyin ve kapsam iyileştikçe yükseltin. Güncel değerin çok üzerindeki bir alt sınır ya yok sayılır ya da düşük değerli testlerle karşılanır.
Satır kapsamı mı, dal kapsamı mı kullanmalıyım?
Dal kapsamı daha katıdır, çünkü her kararın iki tarafının da çalıştığını kontrol eder. Araçlarınızın onu güvenilir şekilde raporladığı yerlerde kullanın. Satır kapsamı en yaygın bulunanıdır ve makul bir başlangıç noktasıdır.
%100 kapsam, kodda hiç hata olmadığı anlamına mı gelir?
Hayır. Kapsam, testler sırasında hangi kodun çalıştığını gösterir; testlerin sonuçları kontrol edip etmediğini göstermez. Kod, doğrulamaları zayıf veya eksik testlerle tamamen kapsanmış olabilir.
Kapsam kapısı yapay zekânın yazdığı değişikliklere de uygulanmalı mı?
Bir ajanın koduyla birlikte test yazdığına dair ucuz bir sinyaldir. Onu test diff'inin incelenmesiyle eşleştirin, çünkü bir ajan kodu kontrol etmeden çalıştıran testlerle kapsamı artırabilir.