- Ana sayfa
- Öğrenme merkezi
- Bir yapay zekâ kodlama iş akışında insan onayları nereye konmalı
Bir yapay zekâ kodlama iş akışında insan onayları nereye konmalı
Son güncelleme
Yapay zekâ destekli teslimatta hangi anların bir kişinin onayını gerektirdiği, kodu bir ajan yazdığında görevler ayrılığının nasıl işlediği ve göstermelik onaylardan nasıl kaçınılacağı.
Bu sayfada
İnsan onayları, bir yapay zekâ ajanının işinin geri alınmasının zorlaştığı veya başka insanları etkilemeye başladığı noktalara aittir: bir değişiklik ana branch'e merge edilmeden önce, canlı ortama dağıtılmadan önce ve ajanlar altyapı veya bağımlılık değişiklikleri gibi riskli türde işlere başlamadan önce. Geri kalan her şey kapıların arkasında otomatik olarak çalışabilir. Bir onayın bir anlam taşıması için, değişikliği isteyen kişiden başka birinden gelmesi, kanıt göz önündeyken verilmesi ve yayına çıkan sürümün tam olarak kendisine uygulanması gerekir.
Bu sayfa, Yapay zekâ ajanları yazılım yaşam döngüsünde nereye oturur? rehberinin döngüdeki insan bölümünü daha ayrıntılı ele alır.
Döngünün içinde, üzerinde, dışında
İnsan katılımının üç düzeyini ayırt etmeye değer, çünkü ekipler çoğu zaman birini söyleyip diğerini kastederler.
| Düzey | Kişinin yaptığı | Uygun olduğu durumlar |
|---|---|---|
| Döngünün içinde (in the loop) | Ajanın işi etkili olmadan önce onaylar | Merge'ler, canlı ortam dağıtımları, altyapı ve erişim değişiklikleri |
| Döngünün üzerinde (on the loop) | Ajanın hareketlerini izler; durdurabilir veya geri alabilir | İyi izlemesi ve kolay geri alması olan düşük riskli otomasyon |
| Döngünün dışında (out of the loop) | Yalnızca sonradan inceler, o da incelerse | Sonuçları taslaklar gibi başka yollarla kontrol edilen işler |
Yapay zekâ ile kodlama işlerinin çoğu bunları birleştirir: ajanlar kendi başlarına planlar, yazar ve test eder, insanlar belirli birkaç noktada onay verir ve tüm süreç sonradan incelenmek üzere kaydedilir.
Hangi kararlar bir kişiye ihtiyaç duyar
İşe yarar bir test, ajan yanılırsa ve bir hafta boyunca kimse fark etmezse ne olacağını sormaktır. Yanıt "pek bir şey olmaz" veya "geri alırız" ise kapılarla otomasyon yeterlidir. Yanıt müşterileri, veriyi, parayı, güvenliği veya bir olayı içeriyorsa, önüne bir kişi koyun.
Genellikle onay gerektiren kararlar:
- Ana branch'e merge etmek. Bu noktadan sonra başkaları değişikliğin üzerine inşa eder.
- Canlı ortama dağıtmak. Özellikle geri alma yavaşsa veya veri migration'ları söz konusuysa.
- Altyapıyı, CI pipeline'larını veya erişim kontrolünü değiştirmek. Bunların etkisi uygulamanın ötesine uzanır.
- Bağımlılık eklemek veya yükseltmek. Her yeni paket yeni bir tedarikçidir.
- Pahalı veya uzun süren işlere başlamak; örneğin büyük yeniden düzenlemeler (refactor) veya birçok repo genelinde zamanlanmış işler.
- Kuruluşun dışına veri gönderen her şey.
Genellikle onay gerektirmeyen kararlar: bir ajanın hangi dosyaları okuduğu, planını nasıl yapılandırdığı, hangi testleri yazdığı veya başarısız bir adımı yeniden deneyip denemeyeceği. Bunları onaylamak, güvenlik eklemeden sürtünme ekler.
Kodu bir ajan yazdığında görevler ayrılığı
Görevler ayrılığı eski bir denetimdir: bir değişikliği yapan kişi, onu onaylayan tek kişi olmamalıdır. Yapay zekâ ajanlarıyla soru, kimin yazar sayılacağıdır.
Ajan hiçbir şeyden hesap verebilir olamaz; bu yüzden yazar, ona görevi veren kişidir. Hedefi, kapsamı ve çoğu zaman yaklaşımı o seçmiştir ve sonucun doğru olduğuna inanmaya en güçlü eğilimi olan odur. Onun onayı çok az bağımsızlık katar.
Pratikte:
- Talep eden kişi tek onaylayıcı olmamalıdır; başka biri onaylayabiliyorsa.
- Onaylar kişi başına sayılmalıdır; böylece iki kez oy veren bir kişi iki onay sayılmaz.
- Hassas yollar belirli onaylayıcıları adlandırabilir; örneğin kimlik doğrulama kodu için bir güvenlik inceleyicisi.
- Tek başına çalışan geliştiriciler gerçek bir durumdur. Tek kişilik bir ekip görevleri ayıramaz; süreç orada bir geçici çözüme zorlamak yerine kendi kendine onaya izin vermeli ve bunun gerçekleştiğini kaydetmelidir.
Onaylayıcının görmesi gerekenler
Bağlam olmadan karar vermesi istenen bir onaylayıcı ya her şeyi engeller ya da her şeyi onaylar. Kanıtı kararın yanına koyun:
- ajana verilen görev; böylece onaylayıcı değişikliğin isteneni yapıp yapmadığını değerlendirebilir;
- bir özeti değil, diff'in kendisi;
- atlanan veya çalıştırılmayan her şey dahil, tam bu sürüme ait test sonuçları;
- inceleme bulguları ve her birinin nasıl triyajdan geçirildiği;
- bu onayı gerektiren korumalı bir yol gibi her türlü politika kararı.
Bir kanıt parçası eksikse onaylayıcı onun eksik olduğunu görmelidir.
Onay yorgunluğundan kaçınmak
Onaylar çok fazla olduğunda değerini yitirir. Günde onlarca önemsiz değişikliği onaylayan insanlar okumayı bırakır ve onayları göstermelik hâle gelir.
- Daha az ama daha anlamlı şeyleri onaylayın. Hangi değişikliklerin bir kişiye ihtiyaç duyduğuna karar vermek için politikayı kullanın ve gerisini kapılara bırakın.
- Değişiklikleri küçük tutun. Odaklı bir değişiklik okunabilir; dağınık bir değişikliğe ise göz gezdirilir.
- Reddetmeyi ucuzlatın. Ajanlarla reddedilen bir değişiklik daha iyi bir görevle yeniden yapılabilir. Onaylayıcılar hayır demekte özgür hissetmelidir.
- Ret için gerekçe isteyin. Bu, bir sonraki denemeyi iyileştirir ve ekibin neyi kabul etmeyeceğine dair bir kayıt oluşturur.
- Onayların süresi dolsun. Haftalarca bekleyen bir talep, o arada değişmiş bir kod tabanına karşı onaylanır.
Onayları sürümlere bağlamak
Onay, belirli bir değişiklik hakkında bir beyandır. Değişiklik onaydan sonra, bir kişi veya bir takip ajan çalıştırması tarafından düzenlenirse onay sıfırlanmalıdır. Aksi hâlde incelenmiş bir değişiklik, karardan sonra incelenmemiş biriyle değiştirilebilir.
Aynısı kanıt için de geçerlidir. Test sonuçları ve inceleme bulguları, üretildikleri sürüme ait olmalıdır; böylece onaylayıcının kanıtı ile yayına çıkan kod birbiriyle örtüşür.
Kararın kaydedilmesi
Her onay bir kayıt bırakmalıdır: kimin onayladığı veya reddettiği, ne zaman, hangi sürüm için, hangi notla ve hangi kanıtın mevcut olduğu. Bir denetçinin, bir olay incelemesinin veya gelecekteki bir bakımcının, bir değişikliğin canlı ortama nasıl ulaştığını sorduğunda arayacağı şey bu kayıttır.
AI CodeOps bunu nasıl yapar
AI CodeOps'ta, bir oturumdan gelen her kod değişikliği, çalışma alanının güven ayarı ne olursa olsun, pull request'i açılmadan önce onaylanmış bir inceleme gerektirir. Çalışma alanında onay verebilecek başka biri varken oturumu başlatan kişi onun değişikliğini onaylayamaz; tek kişilik bir çalışma alanı kendi işini onaylayabilir. Varsayılan olarak Owner, Admin ve Security Admin rolleri onaylayabilir, bir özel role bu izin verilebilir ve bir talep belirli onaylayıcıları adlandırabilir. Onaylar farklı kişi başına sayılır.
Tek bir ret talebi sonlandırır ve bir ret gerekçe gerektirir. Kod değişikliği incelemelerinin süresi 7 gün sonra dolar. Onaylandıktan sonra bir değişikliği düzenlemek, onayını pending durumuna sıfırlar.
Politika kuralları daha erken kontrol noktaları ekler. workflow.dispatch üzerindeki bir ask kuralı bir oturumu başlamadan önce bekletir (örneğin her bağımlılık yükseltmesi için) ve bu talebin süresi 3 gün sonra dolar. infra/** gibi bir yolla diff.apply üzerindeki bir ask kuralı, bu dosyalardaki değişiklikler için onaylanmış bir inceleme gerektirir. Her karar denetim günlüğüne kaydedilir; onaylar ve her oy, değişikliğin imzalı kanıt paketinin parçasıdır.
Kuralların tamamı için Onaylar ve politikalar sayfasına, döngüdeki insan sözlük maddesine ve genel bakış için Denetim günlükleri, roller ve politikalar sayfasına bakın.
Sık sorulan sorular
Human-in-the-loop ile human-on-the-loop arasındaki fark nedir?
Döngünün içinde (in the loop), ajanın işi bir kişi onaylayana kadar etkili olmaz. Döngünün üzerinde (on the loop), ajan kendi başına hareket eder ve bir kişi izler ve müdahale edebilir. Döngünün dışında (out of the loop) ise bir şeyler ters gidene kadar kimse bakmaz.
Bir yapay zekâ ajanına prompt veren kişi onun değişikliğini onaylayabilir mi?
Yalnızca başka kimse onaylayamıyorsa. Görevi yazan kişi fiilen değişikliğin yazarıdır; bu yüzden onun onayı, yazarın kendisiyle aynı fikirde olmasıdır. Tek başına çalışan bir geliştiricinin başka seçeneği yoktur ve kayıt bunu göstermelidir.
Yapay zekânın yazdığı bir değişikliğin kaç onaylayıcıya ihtiyacı vardır?
Merge'den önce tek bir bağımsız onaylayıcı olağan asgari sayıdır. Kimlik doğrulama, ödemeler veya altyapı gibi hassas yollar için ikinci bir onaylayıcı veya bir güvenlik inceleyicisi gibi belirli bir onaylayıcı ekleyin.
Bir değişiklik onaydan sonra düzenlenirse ne olmalı?
Onay artık geçerli sayılmamalıdır. Onay, onaylayıcının gördüğü sürüm için verilmiştir; bu yüzden düzenlenmiş sürüm yeni bir karar gerektirir.
İlgili içerikler
- Yapay zekâ ajanları yazılım yaşam döngüsünde nereye oturur?
- Onaylar ve politikalar
- Döngüdeki insan (human-in-the-loop, HITL)
- Kanıt paketleri
- Yapay zekâ ile kodlama için denetim günlükleri, roller ve politikalar
- Mühendislik ekipleri için yapay zekâ kodlama politikası şablonu (ücretsiz)
- Öğrenme merkezinin tamamı