AI CodeOps'ta her yapay zekâ değişikliği neden bir kapıdan geçmek zorunda
Matt · · Son güncelleme · 5 dk okuma · Mühendislik
Yapay zekâ makul görünen kodu hızla yazar; bu yüzden hiçbir değişiklik onun sözüyle yayına alınmaz. AI CodeOps yayın kapısının denetimleri, bulduğumuz açıklar ve neden hata durumunda kapalı kaldığı.
Bu sayfada
AI CodeOps'ta yapay zekânın yazdığı hiçbir değişiklik, yapay zekâ "bitti" dediği için merge edilmez: gerçek test çalıştırmalarını, inceleme bulgularını ve bir insanın onayını okuyan bir yayın kapısından geçmesi gerekir. Kapı hata durumunda kapalı kalır; yani eksik kanıt, değişikliği içeri almak yerine bekletir.
Bir yapay zekâ modeli, çalışıyormuş gibi görünen bir değişikliği bir dakikada yazabilir. İşin faydalı tarafı bu. Tehlikeli tarafı ise bozuk olduğu hâlde gayet düzgün görünen bir değişikliği de bir dakikada yazması ve ikisinin okununca birbirinden ayırt edilememesi. Kod derlenir, özet kendinden emindir, değişken adları yerli yerindedir. Çıktıdaki hiçbir şey size hangisini aldığınızı söylemez.
Bu yüzden AI CodeOps'ta yapay zekânın yazdığı hiçbir değişiklik, yapay zekâ bitti dediği için ana branch'inize ulaşmaz. Bir kapıdan geçmek zorundadır. Bu yazı kapının neyi kontrol ettiğini, onu neden bu şekilde kurduğumuzu ve yol boyunca içinde bulduğumuz hataları anlatıyor.
Bir oturum kod yazdıktan sonra ne olur
Oturum, tek bir projede tek bir görev üzerinde çalışan bir ajan ekibidir. Oturum bir diff ürettiğinde, kimse pull request açamadan önce üç şey olur.
- Testleriniz değişiklik üzerinde çalışır. verify adımı (doğrulama), projenin kendi test paketini oturumun az önce yazdığı koda karşı, yalıtılmış bir sandbox içinde çalıştırır ve sonucu gerçek bir test çalıştırması olarak kaydeder. Projenin test komutu yoksa ya da bağımlılıklar yüklenemiyorsa kırmızı bir sonuç yerine hiçbir şey kaydetmeyiz. "Doğrulayamadık" durumu asla "değişiklik başarısız" gibi görünmemelidir. Geçti gibi de görünmez: o proje için testleri kapatmadığınız sürece yayın kapısı, test sonucu olmayan bir kod değişikliğini reddeder.
- Bir yapay zekâ inceleyicisi diff'i okur. Planı değil, konuşma dökümünü değil: diff'i. Bulguları bir önem derecesiyle saklanır ve oturumda, Security gösterge panelinde ve kapıda görünür.
- Bir onay açılır. Değişiklik, onay yetkisi olan bir kişi karar verene kadar Review & Gate → Approvals altında bekler. Politikalar ayrıca bir oturumu başlamadan önce onay için bekletebilir; korumalı bir yol üzerindeki bir
askkuralı da bir değişiklik o yola dokunduğunda, kuralın adını veren bir politika kararı kaydeder.
Ardından, değişiklik merge edilmek üzereyken yayın kapısı bunların hepsine birlikte bakar. CI'ınız aynı soruyu API üzerinden sorabilir: bu pull request ya da bu commit hazır mı? Yanıt, gerekçeleriyle birlikte bir evet ya da hayırdır ve bu soruyu soran bir CI işi, Git platformunuzda bir zorunlu durum kontrolü hâline getirilebilir.
Yayın kapısı neyi kontrol eder
Varsayılan olarak, aşağıdakilerden herhangi biri doğruysa değişiklik reddedilir:
- Üzerinde yüksek (high) veya daha yüksek önem derecesinde açık bir bulgu hâlâ duruyordur. Bir bulgu fixed, won't fix, false positive veya duplicate olarak triyajdan geçirildiğinde engellemeyi bırakır.
- Üzerindeki bir test çalıştırmasında başarısız testler vardır.
- Kodu değiştirmiştir, sayıları içeren bir test sonucu yoktur ve projede testler kapatılmamıştır.
- Bağlı olduğu bir iş akışı başarısız olmuştur ya da onun için hiçbir çalıştırma tamamlanmamıştır.
- Yapay zekâ incelemesi tamamlanmamıştır.
Bir CI kontrolü daha fazlasını isteyebilir: asgari bir kapsam yüzdesi, projenin SBOM'unda yer almaması gereken lisansların listesi, geçmiş olması gereken iş akışları ve bir değişikliğin canlı ortama geçebilmesi için önce staging'e dağıtılmış olmasını şart koşan bir ortam geçiş kuralı. Ayrıntılar kalite kapıları kılavuzunda.
Yapay zekânın yazdığı kod buna neden insan kodundan daha çok ihtiyaç duyar
İnsan kod incelemesi, yazarın ne yazdığını anladığını ve bunun hesabını vereceğini varsayar. Yapay zekânın yazdığı kodda bu varsayım iki şekilde çöker.
Birincisi, hacim. Günde beş pull request inceleyen bir ekip artık elli tane üretebilir. İnceleyenler yorulur, yorgun inceleyenler de onaylar. Kapı yorulmaz.
İkincisi, özgüven kanıt değildir. Bir model size test eklediğini ve testlerin geçtiğini söyler. Bazen gerçekten de öyledir. Kapı modelin ne söylediğini okumaz. Test çalıştırması kaydını ve bulgular tablosunu okur.
Kapının hata durumunda kapalı kalacak şekilde kurulmasının nedeni de bu; OWASP bu ilkeye güvenli şekilde başarısız olma (failing securely) diyor. Her kural "bir sorun görmedikçe izin ver" diye değil, "olumlu kanıtımız olmadıkça reddet" diye ifade edilir. Fail-open ve fail-closed kapılar yazısı bu ödünleşimi ayrıntılı olarak ele alıyor.
Bulduğumuz açıklar
Bunu ilk seferde doğru yapamadık. Bu sonbahar kapattığımız boşluklardan birkaçını burada paylaşıyoruz, çünkü "hata durumunda kapalı kalma"nın pratikte ne anlama geldiğini gösteriyorlar:
- Bitmemiş olan, geçmiş sayıldı. Bir push'tan saniyeler sonra çalışan bir CI kontrolü, tek çalıştırma hâlâ sürerken "release ready" yanıtı alabiliyordu. Bitmemiş bir çalıştırma bir sonuç değildir; bu yüzden artık en az bir çalıştırmanın tamamlanmış olması gerekiyor.
- Okunamayan bir inceleme temiz sayıldı. Yapay zekâ inceleyicisi düz metinle, boş bir mesajla ya da token sınırında kesilmiş bir yanıtla döndüğünde bunu "bulgu yok" olarak ayrıştırıyorduk. 14 Ekim'den bu yana okunabilir bir liste dışındaki her şey başarısız bir inceleme sayılıyor ve kapı değişikliği bekletiyor.
- Eski testler yeni kodu yargıladı. Testler çalıştıktan sonra biri yapay zekânın kodunu düzenlediğinde kapı eski sonuçları kullanmaya devam ediyordu. Artık testler yalnızca çalıştıkları sürüm için sayılıyor ve düzenlenmiş bir değişiklik test edilmemiş olarak görünüyor.
- Düzenlemeler eski onayı korudu. Bir onay, belirli tek bir diff'i onaylar. Kodu düzenlemek, bir kontrol noktasını (checkpoint) geri yüklemek veya hunk'ları filtrelemek artık onayı, değişiklikle aynı işlem (transaction) içinde yeniden açıyor.
- Bir başarısızlık iki hafta boyunca engelledi. Ters yöndeki sorun: kapı, zaman penceresindeki herhangi bir başarısız çalıştırma yüzünden engelliyordu; bu yüzden düzeltilip yeniden çalıştırılan bir değişiklik engelli kalıyordu. Artık her iş akışı, tamamlanmış en son çalıştırmasına göre değerlendiriliyor.
Bunların her biri, kapının kanıtın desteklemediği bir şey söylediği bir durumdu. Tam liste değişiklik günlüğünde.
İki kişili inceleme
Son parça insanlar. Bir yapay zekâ değişikliğindeki onay eskiden, oturumu başlatan kişi de dahil olmak üzere onay yetkisi olan herkesin oyunu kabul ediyordu. Tek bir Admin bir oturum başlatıp onu onaylayabilir ve pull request'i tek başına açabilirdi.
11 Ekim'den bu yana, çalışma alanında onay verebilecek ikinci bir kişi varsa onay, oturumu başlatan kişiden başka birinden gelmelidir; başlatan kişinin kendi onayı sayılmaz. Başka biri bakmak zorundadır. Tek kişilik bir ekip kendi kendini onaylayabilmeye devam eder, çünkü aksi hâlde hiçbir şey yayına alınamazdı; reddetmek ise her zaman serbesttir. Tek bir ret değişikliği durdurur. Kimin neyi onaylayabileceği onaylar ve politikalar kılavuzunda anlatılıyor.
Size maliyeti ne
Kapı bir sürtünmedir ve aksini iddia etmiyoruz. Değişiklikler bir inceleyiciyi bekler. Kararsız (flaky) bir test, siz yeniden çalıştırana kadar merge işlemini engeller. Dağınık bir inceleme döndüren bir model size bir inceleme daha yaptırır.
Kimsenin elle yazmadığı kod için bu takasın doğru olduğunu düşünüyoruz. AI CodeOps'un amacı yapay zekâ değişikliklerini daha hızlı merge etmek değil. Amaç, onları güvenle merge edilebilir kılmak ve her birine neden izin verildiğinin kaydını bırakmak. İnceleme tarafının nasıl çalıştığını görmek isterseniz çok ajanlı kod incelemesi sayfası daha derine iniyor.
Önemli çıkarımlar
- Hiçbir yapay zekâ değişikliği yapay zekânın sözüyle merge edilmez: yayın kapısı test çalıştırmalarını, inceleme bulgularını ve onayları okur.
- Varsayılan olarak bir değişiklik; yüksek önem derecesinde açık bir bulgu, başarısız testler, bitmemiş veya başarısız bir çalıştırma ya da tamamlanmamış bir inceleme nedeniyle reddedilir.
- Kapı hata durumunda kapalı kalır: kanıt yoksa merge de yok.
- Testler ve onaylar, yalnızca değişikliğin gördükleri sürümü için sayılır.
- Çalışma alanında ikinci bir onaylayıcı varsa, oturumu başlatan kişi oturumu tek başına onaylayamaz.
İlgili içerikler
- Kalite kapıları
- Hata durumunda kapalı kalan yapay zekâ kod kalite kapıları
- Onaylar ve politikalar
- Kötü merge'leri engelleyen yapay zekâ kod incelemesi
- İmzalı kanıt paketleri: yapay zekâ kodunun yayın yolunu kanıtlamak
- 2026'nın en iyi yapay zekâ kod inceleme araçları: dürüst bir karşılaştırma
- Tüm blog yazıları