- Ana sayfa
- Öğrenme merkezi
- Bir yapay zekâ ajanının yazdığı kod nasıl incelenir
Bir yapay zekâ ajanının yazdığı kod nasıl incelenir
Son güncelleme
Yapay zekânın ürettiği pull request'leri incelemek için pratik bir yaklaşım: önce neyin okunacağı, kodlama ajanlarının sık yaptığı hatalar ve göstermelik onaylardan nasıl kaçınılacağı.
Bu sayfada
Bir yapay zekâ ajanının yazdığı kodu incelemek, kodun kendisinden önce üç şeyi kontrol etmek demektir: değişikliğin isteneni yapıp fazlasını yapmadığı, ona dair kanıtın gerçek olduğu ve testlerin uysun diye eğilip bükülmediği. Ajanların yazdığı kod genellikle iyi biçimlendirilmiştir ve kendinden emin okunur; bu yüzden sorunlar bariz hatalardan çok varsayımlarda, kapsamda ve doğrulamada yer alma eğilimindedir. İyi bir inceleme önce görevi, test sonuçlarını ve test diff'ini okur, ardından değişikliğin bir hatanın pahalıya mal olacağı kısımlarına yoğunlaşır.
Bu sayfa, Yapay zekâ kod incelemesi nedir? rehberindeki yapay zekânın yazdığı kodu inceleme bölümünü genişletir.
Ajanların yazdığı değişikliklerde farklı olan ne
İnsan ve yapay zekâ değişiklikleri farklı şekillerde başarısız olur ve birine alışkın bir inceleyici diğerini kaçırabilir.
- Makul görünüm. Ajan çıktısı derlenir, ekibin stiline uyar ve yardımcı yorumlar içerir. Yüzeysel kalite, insan işinde çoğu zaman olduğu gibi bir doğruluk sinyali değildir.
- Hacim. Bir ajan dakikalar içinde onlarca dosyaya dokunan bir değişiklik üretebilir. Sınır, yazarın zamanı değil, inceleyicinin dikkati olur.
- Kendinden emin özetler. Ajanlar kendi işlerini tamamlanmış ve test edilmiş olarak tarif eder. Bu açıklama bir iddiadır ve bazen ajanın fark etmediği şekillerde yanlıştır.
- Ortak bellek yok. Bir meslektaş kodun neden belirli bir şekilde yazıldığını hatırlar. Bir ajan ise yalnızca bağlamında olanı bilir; bu yüzden haberdar olmadığı bilinçli bir kararı geri alabilir.
- Kapsam kayması. Ajanlar yol üzerinde fark ettikleri şeyleri düzeltir: burada bir yeniden adlandırma, orada bir yeniden düzenleme. Her biri makul olabilir, ancak birlikte değişikliği incelemesi daha zor ve yayına alması daha riskli hâle getirirler.
Diff'ten değil, görevden başlayın
Herhangi bir dosyayı açmadan önce ajana verilen görevi okuyun. Sonra sorun:
- Değişiklik görevin istediğini yapıyor mu?
- Görevin istemediği bir şey yapıyor mu?
- Ajan belirsiz bir görevi sizin yorumlamayacağınız bir şekilde mi yorumladı?
Görevi yanlış anlayan bir ajan, yanlış şeyin doğru görünen bir uygulamasını üretebilir. Bunu, önce kodu okuyup amacı ondan çıkarmaktansa talebi aklınızda tutarken görmek daha kolaydır.
Görevin kapsamı dışındaki her şey daha yakından bakılmayı veya ayrı bir değişikliği hak eder. Yapılandırmada, CI tanımlarında, bağımlılık manifest'lerinde veya kimlik doğrulama kodunda yapılan istenmemiş düzenlemeler, üzerinde durulması gerekenlerdir.
Koddan önce kanıtı okuyun
Uygulamayı okumadan önce neyin doğrulandığını kontrol edin.
- Testler tam bu sürüm üzerinde mi çalıştı? Son düzenlemeden önceki bir test çalıştırması, güncel kod hakkında hiçbir şey söylemez.
- Hangi testler çalıştı ve atlanan var mı? İlgili testleri atlayan bir test paketinden gelen yeşil bir sonuç geçiş değildir.
- Otomatik inceleme ne buldu ve nasıl triyajdan geçirildi? Açık yüksek önem dereceli bulgular veya gerekçesiz reddedilen bulgular size nereye bakmanız gerektiğini söyler.
- Hiç doğrulanmayan bir şey var mı? "Hiç test çalışmadı" ifadesi nötr bir durumun arkasına gizlenmemeli, görünür olmalıdır.
Kanıt eksikse inceleme daha zordur ve onaylayıcının bunu karar vermeden önce bilmesi gerekir.
Kod diff'inden önce test diff'ini okuyun
Testler, bir şeyleri geçirmesi için baskı altındaki bir ajanın kestirme yollara başvurabileceği yerdir. Şunlara bakın:
- silinmiş, yorum satırına alınmış veya atlanmış olarak işaretlenmiş testler;
- gevşetilmiş doğrulamalar; örneğin tam bir karşılaştırmanın, bir değerin var olduğunu kontrol eden bir şeyle değiştirilmesi;
- yeni kodun döndürdüğü her şeye uysun diye değiştirilmiş beklenen değerler;
- test edilen kodun hiçbir zaman gerçekten çalışmadığı kadar geniş mock'lar;
- kodu çalıştıran ama sonuç hakkında hiçbir şey doğrulamayan yeni testler.
Yalnızca test ve doğrulama ekleyen bir test diff'i iyi bir işarettir. Mevcut beklentileri değiştiren bir test diff'i ise görevde bulabileceğiniz bir gerekçeye ihtiyaç duyar.
Kodlama ajanlarının sık yaptığı hatalar
Bu kalıplar bilinçli olarak kontrol edilecek kadar sık ortaya çıkar.
| Kalıp | Neye bakılmalı |
|---|---|
| Uydurma API'ler veya paketler | Kullandığınız sürümde var olmayan fonksiyonlara, seçeneklere veya paketlere yapılan çağrılar |
| Yutulan hatalar | Geniş catch blokları, günlüğe yazılıp yok sayılan hatalar veya boş sonuçlara dönüştürülen başarısızlıklar |
| Sessiz geri dönüşler | Bir arama başarısız olduğunda sıfır veya boş bir liste döndürmek gibi başarısızlığı gizleyen varsayılan değerler |
| Eksik yetkilendirme | Benzer kodda bulunan izin kontrolü olmayan yeni uç noktalar veya eylemler |
| Eskimiş kalıplar | Eski koddan öğrenilmiş, kullanımdan kaldırılmış kütüphane çağrıları, eski kriptografi veya güvensiz varsayılanlar |
| Yinelenen yardımcılar | Kod tabanında zaten bulunan birini tekrarlayan yeni bir yardımcı araç |
| Yeni bağımlılıklar | Standart kütüphanenin veya mevcut bir bağımlılığın zaten yaptığı bir iş için eklenen paket |
| İlgisiz değişiklikler | Gerçek değişikliğe karışmış, görevin dışında yeniden biçimlendirme, yeniden adlandırma veya yeniden düzenlemeler |
Yutulan hatalar ve sessiz geri dönüşler özel dikkat gerektirir. Görünür bir başarısızlığı yanlış veriye dönüştürürken testlerin geçmesini ve demoların çalışmasını sağlarlar; bu da sonradan bulunması çok daha pahalıdır.
Büyük değişiklikleri incelenebilir tutmak
Bir değişiklik düzgün incelenemeyecek kadar büyük olduğunda, seçenekler onu okumadan onaylamaktan daha iyidir.
- Görevi bölün. Ajan işini yeniden yapmak ucuzdur. Değişikliği, her birinin net bir sınırı olan daha küçük parçalar hâlinde isteyin.
- Riske göre okuyun. Para, kimlik doğrulama, kişisel veri, izinler ve kalıcılıkla ilgili dosyaları satır satır okuyun. Üretilmiş veya mekanik dosyalara göz gezdirin.
- Hassas yolları koruyun.
infra/veya CI tanımları altındaki değişiklikler için ek inceleme gerektiren bir kural, bu dosyaların büyük bir değişikliğin içinde asla gözden kaçmaması demektir. - Onarmak yerine reddedin. Yaklaşım yanlışsa, net bir gerekçe ve daha iyi bir görevle verilen bir ret, ajanın kodunu elle düzenlemekten çoğu zaman daha hızlıdır.
Sorumlu şekilde onaylamak
Bir onay, bir kişinin değişikliğe ve kanıta baktığı ve onu yayına almanın sorumluluğunu kabul ettiği anlamına gelmelidir. Üç alışkanlık onu anlamlı tutar:
- Yazarı ve onaylayıcıyı ayırın. Görevi yazan kişi, başka biri onaylayabiliyorken sonucu onaylayan tek kişi olmamalıdır.
- Düzenlemelerden sonra yeniden onaylayın. Değişiklik onaydan sonra değiştirilirse, önceki onay artık yayına çıkacak olana uygulanmaz.
- Reddettiğinizde bir gerekçe yazın. İster bir kişi ister bir ajan yapsın, bir sonraki denemeye yardımcı olur.
AI CodeOps incelemeyi nasıl destekler
AI CodeOps'ta bir oturumdan gelen her kod değişikliği bir inceleme talebi açar. Oturum sayfasında onaylayıcı; önerilen değişiklikleri, bulguları ve test sonuçlarıyla birlikte Quality gates panelini görür; bu panel ayrıca testler çalışamadığı için bir değişikliğin ne zaman doğrulanmadığını da gösterir. 60 KB'yi aşan bir diff "Split the task into smaller changes" ile reddedilir; böylece inceleyicilere okunamayacak kadar büyük değişiklikler verilmez.
Çalışma alanında onay verebilecek başka biri varken oturumu başlatan kişi onay oyunu kullanamaz. Bir ret gerekçe gerektirir ve talebi sonlandırır. Onaydan sonra bir değişikliği düzenlemek onu yeniden onaya gönderir ve bir test sonucu yalnızca üzerinde çalıştığı sürüm için geçerlidir. Çalışma alanı politikaları, infra/** gibi yollardaki değişiklikler için onay isteyebilir veya onları reddedebilir. Bir takip oturumu, baştan başlamak yerine bir değişikliğin üzerine inşa edebilir.
Kimin onaylayabileceği ve oyların nasıl sayıldığı için Onaylar ve politikalar, bir değişikliği neyin engellediği için Kalite kapıları ve daha geniş kalıp için Kalite kapıları nedir? sayfasına bakın.
Sık sorulan sorular
Yapay zekânın ürettiği kod, insan kodundan daha sıkı mı incelenmeli?
Farklı incelenmeli. Kod çoğu zaman düzenli ve makul görünür; bu yüzden riskler varsaydıklarında, atladıklarında ve görevin dışında değiştirdiklerinde saklanır. Önce kanıtı ve kapsamı, sonra kodu okuyun.
Bir ajanın testleri zayıflatıp zayıflatmadığını nasıl anlayabilirim?
Kod diff'inden önce test diff'ini okuyun. Silinmiş veya atlanmış testlere, gevşetilmiş doğrulamalara, geniş mock'lara ve yeni çıktıya uysun diye değiştirilmiş beklenen değerlere bakın. Ardından testlerin değişikliğin bu sürümü üzerinde gerçekten çalıştığını kontrol edin.
Tamamen okumadığım büyük bir yapay zekâ değişikliğini onaylamak kabul edilebilir mi?
Önemli olan kod için hayır. Görevin bölünmesini isteyin veya riskli dosyaları eksiksiz, mekanik olanları hızlıca okuyun. Onay, değişikliği kontrol ettiğinize dair bir beyandır ve bu anlamı taşımalıdır.
Ajana prompt veren kişi onun değişikliğini onaylamalı mı?
Başka biri inceleyebiliyorsa tek başına değil. Görevi yazan kişi fiilen yazardır ve ikinci bir inceleyici yazarın varsaydığını yakalar.