AI CodeOps

İmzalı kanıt paketleri: yapay zekâ kodunun yayın yolunu kanıtlamak

Matt · · Son güncelleme · 4 dk okuma · Ürün

AI CodeOps kanıt paketinde neler var, onu neden kanonik JSON üzerinde Ed25519 ile imzalıyoruz ve bir denetçi bize güvenmeden onu çevrimdışı nasıl doğrular?

Yapay zekâyla kod yazan bir ekibe er ya da geç biri haklı bir soru sorar: bu değişiklik canlı ortama nasıl ulaştı? Kim istedi, hangi model yazdı, kim baktı, ne test edildi ve ne onaylandı?

Bu soruların yanıtları zaten AI CodeOps'ta duruyor. Oturum, inceleme bulguları, test çalıştırmaları, onaylar ve denetim günlüğü hepsi orada. Ama "aracımıza giriş yapın ve biraz tıklayıp bakın", bir denetçinin saklayabileceği bir yanıt değildir; ekran görüntüsü de hiçbir şey kanıtlamaz. Bu yüzden bugün kanıt paketlerini yayına alıyoruz: her değişiklik için bu yanıtları içeren, herkesin hesap açmadan ve bize güvenmeden kontrol edebileceği imzalı tek bir dosya.

Bir paket neleri içerir

Changes sayfasını açın, bir değişiklik seçin ve Download evidence pack düğmesini seçin. Şunları içeren bir JSON dosyası alırsınız:

  • Görev. Yapay zekâya verilen prompt; model, sağlayıcı ve kademe; bağlam dosyaları.
  • Çalıştırmalar. Oturum ve her takip çalıştırması; durum, zamanlamalar, token'lar ve maliyetle birlikte, ayrıca her ajan adımının sağlayıcısı ve modeli.
  • Sonuç. Özet, değişen dosyaların listesi ve diff'in SHA-256 özeti.
  • Onaylar. Her onay talebi, onu kimlerin onaylayabileceği ve zamanı ile notuyla birlikte her oy.
  • Politika kararları. Çalışma alanının politikalarının değişiklik sırasında verdiği her allow, deny veya ask kararı.
  • Bulgular ve testler. İnceleme bulguları ve nasıl triyajdan geçirildikleri; test sonuçları: geçen, başarısız olan, atlanan testler ve kapsam.
  • Teslim. Pull request, dağıtım ve değişikliğe bağlı herhangi bir olay.
  • Denetim izi. Yukarıdakilerin herhangi biriyle ilgili denetim günlüğü kayıtları.
  • Kişiler. Paketteki her hesap kimliğinin arkasındaki e-posta adresi; böylece dosya tek başına okunabilir.

Kodun kendisi pakette yer almaz. Bu bilinçli bir tercihti. Kaynak kod çoğu zaman bir şirketin sahip olduğu en hassas şeydir ve bir kanıt dosyası e-postayla elden ele dolaşmaya meyillidir. Bağlantıyı bunun yerine diff özeti kurar: pull request'in diff'inin özetini alın; eşleşiyorsa paket tam olarak o kodu anlatıyordur.

Bir paketi indirmek için çalışma alanında denetim erişimi gerekir. Owner, Admin ve Security Admin rollerinde bu erişim bulunur. Her indirmenin kendisi de denetim günlüğüne kaydedilir; böylece kimin neyi dışa aktardığını görebilirsiniz. Ayrıntılar kanıt paketleri kılavuzunda.

Neden imzalıyoruz

Bir JSON dosyasını düzenlemek kolaydır. Bir paket indirildikten sonra değiştirilebilseydi, birinin elle doldurduğu bir elektronik tablodan daha değerli olmazdı. Onu kanıta dönüştüren şey imzadır.

Her paketin üç bölümü vardır: bir format dizesi, yukarıdakilerin tümünü taşıyan payload ve bir signature. İmza, payload üzerinde Ed25519 imzasıdır (RFC 8032). Ed25519'u seçtik, çünkü küçük ve hızlıdır, yanlış ayarlanabilecek bir parametresi yoktur ve çoğu kişinin zaten elinde olan standart kütüphanelerde yerleşik olarak bulunur: Node.js'in modülü, Go, Python'un cryptography paketi ve OpenSSL bunlardan bazıları. İddialarımızı kontrol etmek için bizim kodumuza ihtiyacınız olmamalı.

Kanonik JSON

JSON imzalamanın bir tuzağı vardır. Aynı veri birçok şekilde yazılabilir: farklı sırada anahtarlar, fazladan boşluklar, bir satır sonu. Gönderdiğimiz baytları olduğu gibi imzalasaydık, bir metin düzenleyicinin ya da bir JSON aracının zararsız bir yeniden kaydı imzayı bozardı ve yeniden biçimlendirmeyi sahtecilikten ayırt edemezdiniz.

Bu yüzden onun yerine payload'un kanonik biçimini imzalıyoruz: nesne anahtarları her düzeyde sıralanır ve boşluk bulunmaz. Paketi kim yeniden serileştirirse serileştirsin kanonik baytlar aynı kalır ve imza yine doğrulanır. Kanonik fonksiyon yaklaşık on satırdır:

const canonical = (v) =>
  v === null || typeof v !== "object"
    ? JSON.stringify(v)
    : Array.isArray(v)
      ? `[${v.map(canonical).join(",")}]`
      : `{${Object.keys(v)
          .sort()
          .map((k) => `${JSON.stringify(k)}:${canonical(v[k])}`)
          .join(",")}}`

Bir paketi doğrulama

Bunun iki yolu var.

Tarayıcıda. /evidence/verify adresini açın ve dosyayı seçin. Hesap gerekmez. Sayfa size imzanın geçerli olup olmadığını, onu hangi anahtarın imzaladığını, paketin hangi değişiklikle ilgili olduğunu ve ne zaman oluşturulduğunu söyler.

Çevrimdışı. Bir denetim için önemli olan budur, çünkü doğrulayıcımıza güvenmenizi istemez. Açık anahtarlarımız /api/evidence?action=keys adresinde yayımlanır. Onları bir kez kaydedin, ardından kılavuzda bulunan kısa bir Node.js script'ini pakete karşı çalıştırın. Script payload'u kanonik biçime getirir, paketin adını verdiği anahtarı bulur ve imzayı node:crypto ile kontrol eder. Biri payload'da tek bir karakteri bile değiştirmişse "NOT VERIFIED" yazdırır.

Kılavuzdaki bu script'in aynısını kendi testlerimizde de gerçek bir imzalı pakete karşı çalıştırıyoruz. Kod ile dokümantasyon bir gün birbirini tutmazsa başarısız olan sizin denetiminiz değil, bizim testlerimiz olur.

Anahtarlar ve paketlerin ne kadar süre geçerli kaldığı

Her paket, kendisini imzalayan anahtarı bir anahtar kimliğiyle belirtir: açık anahtarın SHA-256 özetinin ilk 16 onaltılık (hex) karakteri. Özel anahtar ilk kullanımda üretilir ve şifrelenmiş olarak saklanır.

Anahtarlar asla silinmez. Bir anahtar kullanımdan kaldırıldığında yeni paketleri imzalamayı bırakır, ama açık yarısı yayımlanmış olarak kalır; böylece imzaladığı her paket yine doğrulanır. Bugün indirdiğiniz bir paket yıllar sonra da doğrulanabilmelidir.

Bir paketin kanıtlamadıkları

Burada kesin konuşmakta fayda var. Bir paket, AI CodeOps'un bu değişiklik hakkında bu olguları kaydettiğini ve o zamandan beri kimsenin onları değiştirmediğini kanıtlar. Kodun doğru olduğunu kanıtlamaz; birinin doğrudan branch'e push ettiği bir commit gibi platformun dışında gerçekleşen adımlar hakkında da hiçbir şey kanıtlamaz. Pull request'teki kodun, paketin anlattığı kod olduğunu diff özetiyle kontrol edersiniz.

Bu sınırlar içinde paket, bir denetçiye yapay zekânın yazdığı kodda nadiren elde ettiği bir şey sunar: değişiklik başına, prompt'tan canlı ortama kadar tüm yolu gösteren ve bağımsız olarak kontrol edilebilen tek bir dosya. Regülasyona tabi bir sektörde çalışıyorsanız regülasyona tabi ekipler sayfası paketlerin diğer kontrollerle nasıl bir araya geldiğini gösterir, denetim ve RBAC sayfası paketlerin beslendiği denetim günlüğünü anlatır, yapay zekâ değişiklikleri için insan onayları ise bir paketin kaydettiği onayları açıklar.

Önemli çıkarımlar

  • Kanıt paketi, değişiklik başına tek bir JSON dosyasıdır: görev, çalıştırmalar, onaylar, politika kararları, bulgular, testler, teslim ve denetim izi.
  • Kod pakette yer almaz; diff'in SHA-256 özeti paketi tam olarak o pull request'e bağlar.
  • Paket kanonik JSON üzerinde Ed25519 ile imzalanır; bu yüzden yeniden biçimlendirme imzayı bozmaz, herhangi bir düzenleme ise bozar.
  • Herkes paketi tarayıcıda /evidence/verify adresinde ya da kısa bir Node.js script'i ve yayımladığımız anahtarlarla çevrimdışı doğrulayabilir.
  • Paket, AI CodeOps'un neyi kaydettiğini ve o zamandan beri kimsenin bunu değiştirmediğini kanıtlar; kodun doğru olduğunu değil.