AI CodeOps

Yapay zekânın yazdığı kod üzerinde çalışan kendi test paketiniz

AI CodeOps kendi testlerinizi her yapay zekâ değişikliğinde çevrimdışı sandbox'ta çalıştırır, gerçek sonucu kaydeder, test başarısızsa pull request'i bekletir.

AI CodeOps'ta test aşaması, projenizin kendi test paketini bir yapay zekâ oturumunun az önce yazdığı kodun tam olarak kendisi üzerinde, yalıtılmış bir sandbox içinde çalıştırır ve sonucu bir test çalıştırması olarak kaydeder. Başarısız bir test değişikliği bekletir: testler güncel sürümünde geçene kadar değişiklik pull request'e dönüşemez.

Bir yapay zekâ ajanının "testler geçmeli" demesi kanıt değildir. Bu yüzden kod geçişinden sonra, bir projenin kodunu değiştiren her oturum bir verify (doğrulama) adımından geçer. Bu adım, önerilen dosya ağacını diff'in hesaplandığı aynı düzenlemelerden yola çıkarak bir sandbox içinde yeniden kurar ve test paketinizi orada çalıştırır. Çalışan şey, incelenen şeyin kendisidir. Temel branch'e veya değişikliğin daha önceki bir sürümüne karşı yapılan bir test çalıştırması, bu sürüm hakkında size hiçbir şey söylemez.

Hangi ajanlar çalışır

Test üzerinde üç yerleşik ajan çalışır. Hiçbiri kod çalıştırmaz:

  • Tester: olağan akış, uç durumlar ve hata durumları için test planı ve adlandırılmış test senaryoları. Plan, Build, Review & Test ve Quality-Gated Change dahil on yerleşik iş akışında çalışır.
  • E2E Tester: kullanıcının gördüğü akış için uçtan uca senaryolar ve kapsamın eksik olduğu yerler. Feature SDLC ve Release Readiness iş akışlarında çalışır.
  • Performance Tester: sık çalışan kod yolları ve bir optimizasyonun beklenen etkisi. Performance Tuning iş akışının iki ucunda da çalışır.

Adımları, Plan, Build, Review & Test iş akışındaki Test adımında olduğu gibi, değişikliği uygulayan adımdan sonra geliyorsa verify adımından sonra çalışır. Ona değişikliğin yazılmış hâli ve kaydedilen test sonucu gösterilir; testlerden söz ederken bu sonucu alıntılaması söylenir. O sırada adını andığı bir test aynı oturumda eklenmez: bunu bir takip oturumuyla isteyin.

Parallel Review veya Release Readiness gibi uygulama adımı olmayan bir iş akışında adımları kod geçişinden önce çalışır ve kod geçişi bunları okur; böylece bir oturum, adını andıkları testleri değişiklikle birlikte yazabilir. Her iki durumda da kod geçişi değişiklikle birlikte test yazabilir ve verify adımı, eski ve yeni testleriyle birlikte test paketini çalıştırır.

Verify adımı nasıl çalışır

  1. Komutun seçilmesi. Projede ayarlanmış bir komut önceliklidir. Yoksa AI CodeOps ağacı okur: bir package.json test script'i (lockfile'a göre bun, pnpm, yarn veya npm ile çalıştırılır), o yoksa pyproject.toml, setup.cfg, pytest.ini veya tox.ini bulduğunda pytest -q, o da yoksa bir go.mod için go test ./.... Bir proje testleri atlayacak şekilde de ayarlanabilir.
  2. Yükleme, ardından çevrimdışına geçiş. Reposu olan bir projede sandbox repoyu klonlar ve ağaçta yalnızca sizin kodunuz varken bağımlılıklarını yükler. Ardından ağ bağlantısı kalıcı olarak kesilir. Yalıtılamıyorsa yapay zekânın kodu çalıştırılmaz.
  3. Değişikliğin yazılması ve çalıştırma. Yapay zekânın dosyaları çevrimdışı ağaca yazılır ve test komutu çalışır. Değişiklik bir bağımlılık manifestine dokunduysa yükleme çevrimdışı olarak yeniden çalışır.
  4. Sonucun kaydedilmesi. Çıktı pytest, Jest, Vitest ve JUnit XML için ayrıştırılır; çıktı bildiriyorsa kapsam değeri de alınır. Go'nunki dahil diğer test çalıştırıcıları çıkış kodlarına göre kaydedilir. Çalıştırma; toplamı, geçen, başarısız olan ve atlanan test sayılarını, süreyi, kapsamı ve çıkış kodunu saklar. Çıkış kodu olan ama sayıları olmayan bir çalıştırma herhangi bir testin geçtiğini göstermez; bu yüzden yayın kapısı sayıları ister: aşağıdaki kapılara bakın.

Her komut iki dakikayla sınırlıdır ve adım yaklaşık altı dakikadan sonra yeni komut başlatmayı bırakır. Adım önce politikalarınıza göre kontrol edilir: bir shell.command kuralı yükleme ve test komutlarına izin verebilir veya bunları reddedebilir.

Sonuçlar oturum sayfasında ve son test çalıştırmalarını listeleyen Build & Test, Quality sayfasında görünür.

Dürüst atlamalar

Bir test paketinin çalışmasını engelleyen ve değişiklik hakkında hiçbir şey söylemeyen pek çok şey olabilir: test komutunun olmaması, yüklenemeyen bağımlılıklar, eksik bir test çalıştırıcısı, kullanılabilir sandbox olmaması, zaman aşımı veya komutu reddeden bir politika. Her durumda adım gerekçesiyle birlikte bir atlama kaydeder ve test çalıştırması yazmaz. Bir atlama asla başarısızlık olarak, asla da geçti olarak görünmez. Nedeni giderin (çoğu zaman projede test komutunu ayarlayarak) ve oturumu yeniden çalıştırın. Bkz. sorun giderme.

İlgili kalite kapıları

Test sonuçları, kalite kapısındaki kontrollerden biridir:

  • Başarısız testler engeller. Başarısız bir test veya sıfırdan farklı bir çıkış kodu içeren kayıtlı her test çalıştırması değişikliği reddeder.
  • Yalnızca güncel sürüm sayılır. Testleri çalıştıktan sonra biri değişikliği düzenlerse eski sonuç artık geçerli olmaz ve kapı yeni sürümü test edilmemiş olarak bildirir.
  • Kapsam alt sınırları isteğe bağlıdır. Bir CI çağrısı minCoveragePct alanını ayarlayabilir. Kapsam bildiren en son çalıştırma bu sınırı karşılamalıdır. Hiçbir çalıştırma kapsam bildirmediyse alt sınır kontrol edilemez ve değişiklik reddedilir.
  • Kanıt yokluğu, geçti anlamına gelmez. Kodu değiştiren bir oturumun sayıları içeren bir test sonucuna ihtiyacı vardır. Hiçbir test çalışmadıysa veya test komutu çalışıp test sayısı bildirmediyse kapı değişikliği engeller: "The test command ran but reported no test counts, so nothing shows a test passed. Check the project's test command". Test paketi olmayan bir proje, ayarlarından Don't run tests for this project seçeneğini açar; kapı da o zaman bu projeden test sonucu istemez.

CI'ınız kapıya bir pull request'i sorduğunda başarısız çalıştırmalar testFailures alanında döner. /api/release/check isteğine verilen reddedilmiş bir yanıttan bir kesit:

{
  "allowed": false,
  "evidenceComplete": true,
  "summary": "Tests failing (vitest): 2 of 148 failed",
  "reasons": ["Tests failing (vitest): 2 of 148 failed", "Coverage 71% is below the required 80%"],
  "testFailures": [
    {
      "id": "tst_01JA8ZB4N6Q1S3V5X7Z9C2E4G6",
      "workflowRunID": "wfr_01JA8YQ4M2C7H5K9P3S6V8X1ZD",
      "framework": "vitest",
      "failed": 2,
      "total": 148,
      "exitCode": 1,
      "coveragePct": 71
    }
  ],
  "coverageShortfall": { "coveragePct": 71, "required": 80 }
}

API, değişikliğe izin verilsin ya da verilmesin HTTP 200 yanıtı verir; bu yüzden allowed alanını okuyun. Testler bunun yalnızca bir parçasıdır: değişikliğin ayrıca engelleyici bulgusu olmayan, tamamlanmış bir bulgu incelemesine ve bir insanın onayına ihtiyacı vardır.

Sınırlar

Sandbox, test komutunuz neyi kapsıyorsa onu, yani birim ve entegrasyon testlerinizi çalıştırır. AI CodeOps bu adımın parçası olarak tarayıcı testleri, yük testleri veya değişikliğin dağıtımlarını çalıştırmaz ve az testi olan bir projenin eksiğini kapatmaz. Dış servislere veya ağ erişimine ihtiyaç duyan testler bunlara ulaşamaz; çünkü sandbox çevrimdışıdır.

Sık sorulan sorular

AI CodeOps hangi test komutunu çalıştırır?

Varsa, projede ayarladığınız komutu. Yoksa lockfile'ınızın işaret ettiği paket yöneticisiyle package.json içindeki test script'ini, o da yoksa Python projeleri için pytest, o da yoksa Go modülleri için go test kullanır.

Testler nerede çalışır?

Platformdaki yalıtılmış bir sandbox'ta; asla sizin makinenizde ve asla konsolun sunucularında değil. Reposu olan bir projede önce bağımlılıklar yüklenir, ardından yapay zekânın kodu yazılmadan ve testler başlamadan önce sandbox'ın ağ bağlantısı kesilir.

Projemde hiç test yoksa ne olur?

Bu durumda verify adımı, hiçbir test komutu algılanmadığı gerekçesiyle bir atlama kaydeder. Bir atlama asla geçti olarak gösterilmez ve yayın kapısı, test sonucu olmayan bir kod değişikliğini reddeder. Projenin test paketi yoksa ayarlarından "Don't run tests for this project" seçeneğini açın.

Yapay zekânın değişikliği yeni bir bağımlılık ekleyebilir mi?

Ekleyebilir; ancak testler için yükleme çevrimdışı çalışır, dolayısıyla önceden yüklenmemiş bir paketin yüklemesi başarısız olur. Adım bu durumda, bu gerekçeyle, başarısız olarak değil atlandı olarak kaydedilir.

Test ajanları tarayıcı veya yük testleri çalıştırır mı?

Hayır. Tester, E2E Tester ve Performance Tester ajanları test planları ve senaryoları yazar; çoğu iş akışında bunu, yazılan değişikliği ve kaydedilen test sonucunu okuduktan sonra yaparlar. Çalışan tek kod, sandbox içinde projenizin kendi test komutudur.