AI CodeOps

Yapay zekâ kod incelemesinde yanlış pozitiflerle nasıl başa çıkılır

Son güncelleme

Yapay zekâ inceleyicilerinin neden orada olmayan sorunları işaretlediği, gerçek hataları gizlemeden yanlış pozitiflerin nasıl triyajdan geçirileceği ve bağlam, prompt ve eşiklerin ayarlanması.

Yapay zekâ kod incelemesinde yanlış pozitif, kodda olmayan bir sorunu tarif eden bir bulgudur. Her otomatik inceleyici bir miktar üretir ve dil modelleri bunları ikna edici açıklamalarla üretir; bu da onları kısa bir statik analiz uyarısından daha zor reddedilir kılar. İnsanlar üzerindeki etkileri nedeniyle önemlidirler: boş yere alarm veren bir inceleyici okuyucularını okumayı bırakmaya alıştırır ve bir sonraki gerçek hata gürültüyle birlikte gözden kaçar. Çözüm, her bulgunun neden reddedildiğini kaydeden bir triyaj süreci ile inceleyicinin ne gördüğünün ve neyi engellemesine izin verildiğinin sürekli ayarlanmasıdır.

Bu sayfa, Yapay zekâ kod incelemesi nedir? rehberinin bir bölümünü daha ayrıntılı ele alır: yanlış olan bulgularla ne yapılacağı.

Yapay zekâ inceleyicileri neden orada olmayan sorunları işaretler

Yanlış pozitiflerin çoğu, inceleyicinin kodu yazan kişiden daha azını görmesinden kaynaklanır.

  • Eksik bağlam. İnceleyici diff'i ve belki çevredeki birkaç dosyayı görür. Her isteği doğrulayan middleware'i görmeden doğrulanmamış bir parametreyi veya bir router'ın bir katman yukarıda uyguladığı eksik bir izin kontrolünü işaretler.
  • Desen eşleştirme. SQL'e benzeyen bir şeye birleştirilen bir dize, değer bir sabit olsa bile injection'a benzer. Model yaygın bir hatanın şeklini tanır ve onu bildirir.
  • Bir şey bulma baskısı. "Bu değişiklikte yanlış olan ne?" diye soran bir prompt bir yanıt davet eder. İnceleyiciye hiçbir şey bulmamanın kabul edilebilir olduğu söylenmezse boşluğu doldurmak için bulgu üretme eğilimindedir.
  • Eskimiş bilgi. Eğitim verisi kullandığınız sürümden eski olduğu için model bir API'yi kullanımdan kaldırılmış olarak işaretleyebilir veya bir kütüphanenin artık bir durumu varsayılan olarak ele aldığını kaçırabilir.
  • Deterministik olmama. Aynı diff üzerindeki iki çalıştırma farklı bulgular üretebilir. Bir kez görünüp bir daha görünmeyen bir yanlış pozitif yaygındır.

Bunların hiçbiri inceleyicinin işe yaramaz olduğu anlamına gelmez. Bulgularının olgu değil, kontrol edilmesi gereken iddialar olduğu anlamına gelir.

Gürültünün gerçek maliyeti

Bir yanlış pozitif, birinin onu okuyup reddetmesi için birkaç dakikalık zamana mal olur. Daha büyük maliyet dolaylıdır.

Bulguların çoğu yanlış çıktığında insanlar uyum sağlar. Göz gezdirir, toplu olarak reddeder veya incelemeyi hiç açmamaya başlarlar. Bu noktada inceleyicinin doğru pozitifleri de kaybolur ve ekibin elinde, inceleme etkisi olmadan inceleme gibi görünen bir süreç kalır. Bu, izleme sistemlerini ve güvenlik tarayıcılarını etkileyen aynı uyarı yorgunluğudur.

Bunun tersi bir başarısızlık da vardır. Sessizlik için agresif şekilde ayar yapan bir ekip, gerçek sorunlar dahil nadiren bir şey bulan bir inceleyiciyle karşı karşıya kalabilir. Düşük bir yanlış pozitif oranı, ancak inceleyici yakalaması gereken hataları hâlâ yakalıyorsa iyi haberdir. İkisini de ölçün.

Triyaj: her kararın anlamı

Triyaj, bir bulguyu kayıt altına alınmış bir karara dönüştürür. Yaygın durumlar ve her birinin ne zaman kullanılacağı:

DurumNe zaman kullanılırKaydedilecek olan
FixedSorun gerçekti ve değişiklik artık onu ele alıyorNerede düzeltildiği
False positiveSorun bu kodda yokNeden: kaçırdığı kontrol, koruma veya olgu
Won't fixSorun gerçek ama kabul edilmiş; örneğin bilinen bir ödünleşimNeden kabul edilebilir olduğu ve kimin karar verdiği
DuplicateAynı sorunu zaten başka bir bulgu kapsıyorHangi bulgu
AcknowledgedSorun gerçek ve ele alınacak, ancak henüz düzeltilmediBundan sonra ne olacağı

Bağlı kalmaya değer iki ayrım vardır.

False positive, won't fix değildir. "Bu bir hata değil" ile "bu kabul ettiğimiz bir hata" farklı ifadelerdir ve kaydı okuyan bir denetçinin veya gelecekteki bir bakımcının hangisinin kastedildiğini bilmesi gerekir. İkisini karıştırmak kabul edilmiş riski gizler.

Bir ret gerekçe gerektirir. Tek başına "false positive" doğrulanamaz. "Girdi, rota tanımındaki requireCouponSchema tarafından doğrulanıyor" ifadesi, bir başkasının bunu saniyeler içinde teyit etmesini sağlar ve reddin kendisinin yanlış olduğu durumları ortaya çıkarır.

Yanlış pozitifleri kaynağında azaltmak

Triyaj gürültüyü ortaya çıktıktan sonra ele alır. Şu değişiklikler ne kadarının ortaya çıkacağını azaltır.

  1. İnceleyiciye daha fazla bağlam verin. Değişikliğin dokunduğu dosyaları, bunları doğrudan çağıranları ve ilgili testleri dahil edin. Bağlam genellikle en büyük kaldıraçtır.
  2. Ona normalin neye benzediğini söyleyin. Kurallara dair kısa notlar ("tüm handler'lar withAuth ile sarılıdır", "para tam sayı cent olarak saklanır") aynı yanlış bulgunun tekrarlanmasını önler.
  3. Boş bir yanıtın geçerli olduğunu söyleyin. İnceleyiciye, yanlış bir şey olmadığında hiç bulgu bildirmemenin doğru bir sonuç olduğu talimatını verin.
  4. Kanıt isteyin. Bir dosya, bir satır ve sorunun nasıl ortaya çıktığına dair, onu tetikleyen girdi gibi somut bir açıklama isteyin. Konumu olmayan belirsiz bulgular daha sık yanlıştır.
  5. Önem derecelerini tanımlayın. Kod tabanınız için critical, high, medium ve low'un ne anlama geldiğini yazın. Tanımlar olmadan önem derecesi kayar ve yanlış pozitifler yüksek olarak derecelendirilir.
  6. Bulgu sayısına üst sınır koyun. Bir sınır, inceleyiciyi olası her kaygıyı değil, en güçlü kaygılarını bildirmeye iter.
  7. Gerektiğinde kategorileri daraltın. Gürültünün ana kaynağı stil yorumlarıysa ve zaten bir linter çalıştırıyorsanız, inceleyiciye stil bildirmemesini söyleyin.

Eşikler: bir bulgunun neyi engellemesine izin verilir

Her bulgu aynı güce ihtiyaç duymaz. Yaygın bir düzen şöyledir:

  • Critical ve high bulgular, düzeltilene veya triyajdan geçirilene kadar değişikliği engeller.
  • Medium ve altı bulgular onaylayıcıya gösterilir ancak engellemez.

Bu, bir yanlış pozitifin maliyetini orantılı tutar. Yanlış bir düşük önem dereceli bulgu bir bakışa mal olur. Yanlış bir yüksek önem dereceli bulgu ise bir triyaj kararına mal olur; bu da aksi hâlde bir sürümü durduracak bir şey için doğru bedeldir.

Eşiği zamanla sıkılaştırılacak bir şey olarak ele alın. Yüksek önem dereceli bulgular nadiren yanlış pozitif olarak reddediliyorsa, en azından hassas repolar için medium'da da engellemeye değebilir.

Zaman içinde ölçmek ve ayarlamak

İnceleyiciyle ilgili kararlar izlenimlerden değil, triyaj kaydından gelmelidir.

  • Kategoriye göre ret oranı. Güvenlik bulgularının çoğu düzeltiliyor ama performans bulgularının çoğu reddediliyorsa, performans talimatlarının üzerinde çalışılması gerekir.
  • Tekrarlayan suçlular. Birçok değişiklikte aynı yanlış bulgu, eksik bir kural notuna veya eksik bağlama işaret eder.
  • Retlerin örneklemli denetimi. Ara sıra ikinci bir kişiye false positive olarak işaretlenmiş birkaç bulguya baktırın. Bir ret de yanlış olabilir ve yanlış retlerin oluşturduğu bir kalıp bir süreç sorunudur.
  • Bilinen hata kontrolleri. İnceleyiciyi, daha önce bulduğunuz hataları içeren birkaç değişiklik üzerinde çalıştırın. Ayarlama onları kaçırmasına yol açtıysa, sessizlik için duyarlılıktan (recall) vazgeçmişsinizdir.

AI CodeOps bunu nasıl ele alır

AI CodeOps'ta, her değişikliğin diff'ini okuyan bulgu incelemesi, her biri bir başlık, önem derecesi, kategori, açıklama, öneri ve genellikle bir dosya içeren bulgulardan oluşan bir JSON dizisiyle yanıt vermek zorundadır. En fazla 12 bulgu kaydeder ve boş bir dizi, hiçbir şey bulunmayan tamamlanmış bir incelemedir. Geçişlerin birbirine nasıl oturduğu için Çok ajanlı incelemeler sayfasına bakın.

Her bulgu, oturumun Findings listesinden open, acknowledged, in progress, fixed, won't fix, false positive veya duplicate olarak ayarlanabilir. Pull request'i yalnızca open, acknowledged veya in progress durumundaki açık yüksek (high) veya kritik (critical) bulgular engeller. Birini fixed, won't fix, false positive veya duplicate olarak işaretlemek engelini bitirir ve triyaj, değişiklikle birlikte ve onun kanıt paketinde saklanır. Bir durumu değiştirmek triyaj iznine sahip bir rol gerektirir: Owner, Admin, Developer, Member ve Security Admin rollerinde bu izin vardır; Viewer rolünde yoktur.

Daha katı bir kural isteyen bir CI işi, yayın kontrolünü blockingSeverity değeri medium olacak şekilde çağırabilir. Bir bulgu gerçek olduğunda ise Fix, onu düzeltmek için bir oturum başlatır; bu oturum diğer her değişiklik gibi aynı incelemeden ve onaydan geçer. Ayrıntılar Kalite kapıları ve Yapay zekâ kod incelemesi sayfalarındadır.

Sık sorulan sorular

Yapay zekâ kod incelemesinde yanlış pozitif nedir?

Kodda olmayan bir sorunu tarif eden bir bulgu; örneğin asla null olamayan bir değerde eksik bir null kontrolü veya başka bir yerde zaten doğrulanmış bir girdide bir injection riski.

İnceleyiciyi memnun etmek için yine de bir yanlış pozitifi düzeltmeli miyim?

Hayır. Bir inceleyiciyi susturmak için doğru kodu değiştirmek gereksiz değişiklik ekler ve gerçek hatalara yol açabilir. Bulguyu kısa bir gerekçeyle yanlış pozitif olarak işaretleyin ve tekrarlayan durumları inceleyicinin bağlamını veya talimatlarını iyileştirmek için kullanın.

Yapay zekâ inceleme bulgularını kimler reddedebilmeli?

Salt okunur görüntüleyiciler değil, değişikliği onaylayabilecek veya yazabilecek kişiler ve ideal olarak yalnızca değişikliği isteyen kişi değil. Her ret, sonradan kontrol edilebilmesi için onu kimin yaptığını kaydetmelidir.

Bir yapay zekâ inceleyicisinin her seferinde aynı yanıtı vermesini sağlayabilir miyim?

Tamamen değil. Dil modelleri çalıştırmadan çalıştırmaya farklılık gösterir. Sabit talimatlar, yapılandırılmış çıktı, net önem derecesi tanımları ve bir engelleme eşiği, ifadeler değişse bile sonucu ona göre hareket edilebilecek kadar istikrarlı kılar.