AI CodeOps

Yapay zekâ kod incelemesi nedir?

Son güncelleme

Yapay zekâ kod incelemesi, bir kod değişikliğini okumak ve hataları, riskleri ve eksikleri işaretlemek için bir dil modeli kullanır. Neyi yakaladığı, neyi kaçırdığı ve nasıl kapı yapılacağı.

Yapay zekâ kod incelemesi, bir kod değişikliğini (genellikle bir pull request'in diff'ini) okumak ve içindeki sorunları bildirmek için büyük bir dil modelinin kullanılmasıdır: hatalar, güvenlik riskleri, eksik testler ve bakımı zor kod. Hızlıdır, her değişiklikte çalışır ve insanlardan farklı bir sorun karışımını fark eder. Çalışan bir sistemi değil metni okur ve kendinden emin bir şekilde yanılabilir; bu yüzden en iyi, bulguları bir kapıyı ve bir insan inceleyiciyi besleyen yapılandırılmış bir ilk geçiş olarak işe yarar, ikisinin de yerine geçen bir şey olarak değil.

Yapay zekâ kod incelemesi nasıl çalışır

Bir yapay zekâ inceleyicisi bir prompt, bir model ve biraz bağlamdan oluşur. Ne kadar faydalı olacağına karar veren kısım bağlamdır.

  • Diff. Eklenen ve silinen satırlar temel girdidir. Yalnızca diff'i gören bir inceleyici, göremediği kod üzerindeki etkileri kaçırır.
  • Çevreleyen kod. Daha iyi inceleyiciler, modelin bağlam penceresi içinde, değişikliğin dokunduğu dosyaları, bunları çağıranları ve ilgili testleri de getirir.
  • Amaç. İş kaydı, görev tanımı veya pull request metni modele değişikliğin ne yapması gerektiğini söyler; böylece başka bir şey yapan kodu fark edebilir.
  • Kurallar. Stil kılavuzları, mimari notlar ve önceki kararlar, kod tabanının normal işleyişinden sapmaları işaretlemesini sağlar.

Çıktı genel olarak iki biçimde gelir. Bazı araçlar, bir insan inceleyici gibi, pull request'in satırlarına serbest metin yorumlar yazar. Diğerleri yapılandırılmış bulgular döndürür: her sorun bir başlık, bir önem derecesi, bir kategori, bir dosya ve satır ve önerilen bir düzeltmeyle. Serbest metni okumak keyiflidir. Yapılandırılmış bulgular ise sayılabilir, filtrelenebilir, triyajdan geçirilebilir ve bir karar vermek için kullanılabilir.

İnceleme, inceleyicinin ne kadar şey yapabildiğine göre de değişir. Diff üzerinde tek bir prompt en basit biçimdir. Ajan tabanlı bir inceleyici yanıt vermeden önce daha fazla dosya açabilir, repoda arama yapabilir veya araç çalıştırabilir. Çok geçişli bir inceleme ise örneğin biri doğruluk, biri güvenlik, biri test kapsamı için olmak üzere birkaç prompt çalıştırır ve ardından sonuçlarını birleştirir.

Yapay zekâ incelemesinin iyi olduğu ve başarısız olduğu yerler

Yapay zekâ incelemesi yerini tutarlılıkla kazanır. Büyük bir yeniden düzenlemenin 600. satırı ve uzun bir günün sonunda push edilen değişiklik dahil, her değişikliğin her satırını aynı dikkatle okur. Şunlarda iyidir:

  • yerel mantık hataları: kontrol edilmeyen null değerler, bir eksik veya fazla dönen döngüler (off-by-one), ters çevrilmiş koşullar, ele alınmayan hatalar ve eksik await'ler;
  • yaygın güvenlik kalıpları: dizeyle oluşturulan SQL veya shell komutları, eksik girdi doğrulaması, koddaki secret'lar, güvensiz serileştirmeden çözme ve yeni bir uç noktada eksik yetkilendirme kontrolleri;
  • kod ile testler arasındaki boşluklar; örneğin onu çalıştıran hiçbir testi olmayan yeni bir dal;
  • insanların önemsiz hissettikleri için söylemeyi bıraktıkları adlandırma, tekrar ve okunabilirlik sorunları.

Öngörülebilir şekillerde başarısız olur:

  • İş bağlamı yok. Bir alanın yasal olarak zorunlu olduğunu, bir müşterinin tuhaf bir davranışa bağımlı olduğunu veya ekibin geçen çeyrek bir ödünleşimde anlaştığını bilmez.
  • Çalışma zamanı görünümü yok. Metin üzerinde akıl yürütür. Yarış durumları, gerçek yük altındaki performans ve yalnızca canlı ortamda var olan yapılandırma onun için çoğunlukla görünmezdir.
  • Yanlış pozitifler. Bazen ikna edici bir açıklamayla, orada olmayan sorunları işaretler. Çok fazlasını gören inceleyiciler okumayı bırakır.
  • Deterministik olmama. Aynı diff, iki çalıştırmada farklı bulgular üretebilir.
  • Sınırlı bağlam. Birçok dosyaya yayılan veya bağımlılıkların derinlerindeki etkiler, kendisine verilenin dışında kalabilir.
  • Güvenilmeyen girdi. Diff'in kendisi, inceleyiciye kodun güvenli olduğunu söyleyen bir yorum gibi modele yönelik metin içerebilir. Bu bir prompt enjeksiyonudur ve bir inceleyici buna dayanacak şekilde kurulmalıdır.

Yapay zekâ kod incelemesi ve insan kod incelemesi

İkisi birbirini tamamlar. Her biri, diğerinin kötü idare ettiği alanları kapsar.

BoyutYapay zekâ kod incelemesiİnsan kod incelemesi
HızHer değişiklikte saniyeler ile dakikalarMüsaitliğe göre saatler ile günler
TutarlılıkHer satırda ve her değişiklikte aynı derinlikYorgunluğa, değişikliğin boyutuna ve aşinalığa göre değişir
Amaç ve bağlamYalnızca prompt'ta ve kendisine verilen dosyalarda olanÜrünü, kullanıcıları ve geçmiş kararları bilir
Tasarım muhakemesiBunun doğru değişiklik olup olmadığı konusunda zayıfGüçlü, özellikle o alanın sahibi olan kişilerde
Çalışma zamanı bilgisiKodun söylediğinin ötesinde yokSistemin canlı ortamda nasıl davrandığına dair deneyim
Yanlış pozitiflerYaygın; triyaj gerektirirDaha nadir, ancak görüşler inceleyiciler arasında farklılaşır
Hesap verebilirlikYok; bir model bir kararın sahibi olamazDeğişikliği onaylayan, adı belli bir kişi
Bilgi paylaşımıAz; ekibinizin alışkanlıklarını öğrenmezKodun anlaşılmasını ekip geneline yayar

En önemlisi son iki satırdır. İnceleme kısmen bir kontrol, kısmen de bir ekibin kodunun ortak sahipliğini sürdürme biçimidir. Yapay zekâ incelemesi birinci işin büyük kısmını üstlenebilir, ancak ikincisini üstlenemez.

Yapay zekânın yazdığı kodu incelemek

Yazarın kendisi bir yapay zekâ ajanı olduğunda inceleme daha önemli ve biraz farklı hâle gelir.

Hacim artar. Ajanlar hızla çalışan kod üretir ve insanlar her değişikliğin her satırını aynı özenle okuyamaz. İnceleme çıktısının önem derecesine göre önceliklendirilmesi gerekir; böylece bir kişi dikkatini önemli olan birkaç soruna harcayabilir.

Bağımsızlık önemlidir. Kendi çıktısını kontrol etmesi istenen bir model kendi varsayımlarını tekrarlama eğilimindedir. Kendi prompt'u olan ve ideal olarak plan üzerinde değil, kod oluştuktan sonra çalışan ayrı bir inceleme geçişinin yazarın kaçırdığını yakalama olasılığı daha yüksektir.

İncelenen şey gerçek diff olmalıdır. Birçok ajan iş akışında planlama ve tartışma kod yazılmadan önce gerçekleşir. Bir planı incelemek faydalıdır, ancak bu değişikliğin incelenmesi değildir. Kodun yayına çıkıp çıkmayacağına karar veren bulgular, yayına çıkacak kodun okunmasından gelmelidir.

İnceleme çıktısını bir karara dönüştürmek

Bir yorum listesi tavsiyedir. Yapay zekâ incelemesini yayına alma biçiminizin bir parçası yapmak için çıktısının bir kararı yönlendirmesi gerekir ve bu birkaç kural gerektirir:

  • critical, high, medium, low ve info gibi sabit bir önem derecesi kümesi ve security, quality veya test coverage gibi kategorilerle yapılandırılmış bulgular.
  • Bir engelleme eşiği. Örneğin yüksek (high) veya kritik (critical) önem derecesindeki açık bulgular değişikliği engeller.
  • Triyaj durumları. Bir kişi bir bulguyu fixed, won't fix, false positive veya duplicate olarak işaretleyebilir ve bu karar onun adıyla kaydedilir.
  • Hata durumunda kapalı kalma. İnceleme çöktüyse, zaman aşımına uğradıysa veya okunamayan bir şey döndürdüyse değişiklik incelenmemiştir. Eksik bir inceleme asla temiz bir inceleme sayılmamalıdır.
  • Bir kayıt. Hangi bulguların ortaya çıktığı, onları kimin neden reddettiği; değişiklikle birlikte saklanır.

İncelemeyi bir kalite kapısının girdilerinden biri yapan budur.

Yapay zekâ kod incelemesi nasıl yaygınlaştırılır

  1. Kapsamı seçin. İkinci bir okuyucunun en çok katkı sağladığı repolarla veya değişiklik türleriyle başlayın; örneğin para, kimlik doğrulama veya kişisel veri işleyen servisler.
  2. Yapılandırılmış çıktı isteyin. Araçlarınızın ayrıştırabileceği bir biçimde önem derecesi, kategori, dosya ve öneri içeren bulgular isteyin. Ayrıştırılamayan yanıtları reddedin.
  3. Engelleyici önem derecesini belirleyin. Yalnızca yüksek ve kritik bulgularda katı başlayın. Yanlış pozitif oranı izin verirse eşiği sonradan düşürün.
  4. Triyajı tanımlayın. Bir bulguyu kimin reddedebileceğine ve hangi durumların engelleyici etkisini bitireceğine karar verin. Her durum değişikliğini kaydedin.
  5. Başarısız bir incelemeyi engel olarak ele alın. Zaman aşımları, model hataları ve okunamayan yanıtlar, inceleme yeniden çalıştırılana kadar değişikliği bekletir.
  6. Bir insan onayını sürdürün. Yapay zekâ incelemesi onaylayan kişiyi bilgilendirir. Onun yerini almaz ve bir değişikliğin yazarı onu tek başına onaylamamalıdır.
  7. Ölçün ve ayarlayın. Kaç bulgunun düzeltildiğini ve kaçının yanlış pozitif olarak reddedildiğini takip edin. Prompt'ları, bağlamı ve eşikleri izlenimlere göre değil, buna göre ayarlayın.
  8. Kaydı saklayın. Bulguları ve triyaj kararlarını değişiklikle birlikte saklayın; böylece bir denetçi veya gelecekteki bir bakımcı onun neden yayına çıktığını görebilir.

AI CodeOps bunu nasıl yapar

AI CodeOps, kendi yapay zekâ oturumlarının yaptığı her kod değişikliğini iki katmanda inceler. İş akışının içindeki Reviewer ve Security Auditor gibi inceleme ajanları değişikliğe farklı açılardan bakar. Değişikliği uygulayan adımı izleyen bir inceleme adımı, kod yazılıp test edildikten sonra çalışır ve ona diff ile kaydedilen test sonucu gösterilir. Ardından ayrı bir bulgu incelemesi, önceki inceleme notlarını bağlam olarak alıp aynı diff'i okur. Değişikliği engelleyebilecek bulguları yalnızca bu ikinci katman üretir. Bir iş akışının adımları birbiri ardına çalışır; hiçbir şeye oylamayla karar verilmez.

Bulgu incelemesi bir JSON dizisiyle yanıt vermek zorundadır ve her öğe bir bulguya dönüşür:

[
  {
    "title": "Coupon code is passed to the pricing query without validation",
    "severity": "high",
    "category": "security",
    "description": "applyCoupon() forwards the raw request value to the discount lookup.",
    "recommendation": "Validate length and characters before the lookup and return 400 on a bad code.",
    "filePath": "src/api/checkout.ts"
  }
]

Bir inceleme en fazla 12 bulgu kaydeder. Boş bir dizi, hiçbir şey bulunmadığı anlamına gelir. Okunabilir bir dizi olmayan bir yanıt, başarısız olan bir inceleme veya süresi ya da bütçesi tükenen bir inceleme, çalıştırmayı incelenmemiş olarak işaretler ve değişiklik yeniden çalıştırılana kadar bekletilir.

open, acknowledged veya in progress durumundaki yüksek (high) veya kritik (critical) önem derecesindeki açık bulgular, pull request'i ve konsoldan yapılan bir merge'ü engeller. Bir bulguyu fixed, won't fix, false positive veya duplicate olarak işaretlemek engelini bitirir ve triyaj kaydedilir. Ardından bir kişi değişikliği onaylar; çalışma alanında onay verebilecek başka biri varken oturumu başlatan kişi bu oyu kullanamaz. Bir CI işi aynı kapıya bir pull request'i /api/release/check ile sorabilir ve medium bulgularda da engellemek için blockingSeverity alanını medium olarak ayarlayabilir.

İnceleme reponuzdaki her pull request'i değil, yalnızca AI CodeOps oturumları aracılığıyla yapılan değişiklikleri kapsar. Ürüne genel bakış için Yapay zekâ kod incelemesi, geçişlerin birbirine nasıl oturduğu için Çok ajanlı incelemeler, triyaj ve kapının tamamı için Kalite kapıları sayfasına bakın.

Daha derine inin

Sık sorulan sorular

Yapay zekâ kod incelemesi insan inceleyicilerin yerini alabilir mi?

Hayır. Hızlı ve tutarlı bir ilk geçiştir, ancak amacınızı veya kullanıcılarınızı bilmez ve kendinden emin bir şekilde yanılabilir. Yayına çıkanı yine bir kişi onaylamalıdır.

Yapay zekâ incelemesi bir merge'ü engellemeli mi?

Yalnızca açık kurallarla. Belirli bir önem derecesinin üzerindeki açık bulgularda engelleyin, yanlış pozitifleri insanların triyajdan geçirmesine izin verin ve çalışamayan bir incelemeyi geçiş değil engel olarak ele alın.

Aynı diff neden farklı çalıştırmalarda farklı yapay zekâ inceleme yorumları alıyor?

Dil modelleri tam olarak deterministik değildir ve bağlamdaki küçük değişiklikler neyi fark ettiklerini değiştirir. Yapılandırılmış çıktı ve sabit bir önem derecesi eşiği, sonuca göre hareket etmeyi kolaylaştırır.

Kodu yazan model onu inceleyebilir mi?

İnceleyebilir, ancak kendi kör noktalarını paylaşma eğilimindedir. Gerçek diff üzerinde, farklı bir prompt veya modelle yapılan ayrı bir inceleme geçişi, yazardan kendini kontrol etmesini istemekten daha bağımsızdır.

Yapay zekâ inceleyicisine gönderilen kod prompt enjeksiyonuna karşı güvende midir?

Kendiliğinden değil. Diff'teki yorumlar, dizeler ve belgeler, modeli yönlendirmeye çalışabilecek güvenilmeyen girdilerdir; bu yüzden inceleyicinin yazma erişimi olmamalı ve kararı bir kişinin denetlediği bir kapıyı beslemelidir.