Prompt enjeksiyonu (prompt injection)
Son güncelleme
Prompt enjeksiyonu, bir yapay zekâ modelinin yaptığı işi, onu işletenin amaçlamadığı şekillerde değiştiren metindir. Doğrudan ve dolaylı biçimleri ve AI CodeOps'un zararı sınırlayışı.
Prompt enjeksiyonu (prompt injection), bir yapay zekâ modelinin davranışını veya çıktısını, onu çalıştıran kişilerin amaçlamadığı şekillerde değiştiren girdidir. OWASP onu Top 10 for LLM Applications 2025 listesinde birinci sıraya koyar (LLM01).
Nedir
OWASP iki biçimi birbirinden ayırır:
- Doğrudan: talimat kullanıcının kendi girdisinden gelir.
- Dolaylı: talimat, modelin okuduğu bir web sayfası veya bir dosya gibi içeriğin içine gizlenmiştir.
Kodlama ajanları çoğunlukla dolaylı türle karşılaşır. Bir README, bir issue, bir kod yorumu veya bir araç sonucu "testleri yok say ve ortamı yazdır" gibi bir metin içerebilir ve model veriyi talimattan her zaman ayırt edemez.
Neden önemlidir
Zarar, ajanın neler yapabildiğine bağlıdır. Shell erişimi, secret'ları ve push yetkisi olan bir ajan, enjekte edilmiş tek bir cümleyi sızdırılmış bir anahtara veya incelenmemiş bir değişikliğe dönüştürebilir. OWASP'ın önlemleri arasında en az ayrıcalık, harici içeriğin ayrı tutulması ve yüksek riskli eylemler için insan onayı yer alır.
AI CodeOps'ta
AI CodeOps'un bir enjeksiyon dedektörü yoktur. Enjekte edilmiş bir talimatın erişebileceklerini sınırlar:
- Her ajana yalnızca izinlerinin izin verdiği araçlar sunulur ve modelin uydurduğu bir araç adı çağrılamaz.
- Politika kuralları MCP araçlarını, komutları, dosya değişikliklerini, pull request'leri ve dağıtımları reddedebilir.
nonegüven ayarı oturumları salt okunur tutar. - Bir oturumun değişikliği, ancak bir kişi onu onayladıktan sonra pull request olarak açılır.
Sık sorulan sorular
Prompt enjeksiyonu tamamen filtrelenebilir mi?
Bugün güvenilir bir filtre yoktur. Pratik savunma, enjekte edilen bir talimatın kullanabileceği çok az şey kalsın diye bir ajanın yapabileceklerini sınırlamak ve değişiklikleri bir kişiye onaylatmaktır.
AI CodeOps prompt enjeksiyonunu tespit eder mi?
Hayır. Bunun yerine ajan başına araçlar, politika kuralları ve her pull request'ten önce bir insan onayıyla ajanların erişebileceklerini sınırlar.