Yapay Zeka Ajanlarında Asıl Risk Model Değil İş Akışı

Yapay zeka güvenliği tartışmaları uzun süredir büyük dil modellerinin hizalanması, jailbreak yöntemlerine karşı direnci ve halüsinasyon üretip üretmediği etrafında dönüyor. Ancak yapay zeka ajanları ve LLM destekli iş akışları pilot projelerden üretime geçtikçe, modelin ağırlıklarıyla neredeyse hiç ilgisi olmayan farklı bir risk kategorisi öne çıkıyor. Uzmanlara göre model nadiren zayıf halka oluyor, asıl zayıf halka iş akışının kendisi. Veriyi okuma ile sistemleri değiştirme yeteneği arasındaki güvenlik boşluğu giderek büyüyor.
Son iki yıldır kurumsal yapay zeka güvenliği tartışmaları dar bir etkileşim modelini varsayıyordu: Kullanıcı bir komut yazar, model metin döndürür, insan okur. Bu tehdit modeli artık geçerliliğini yitirdi. Üretimdeki yapay zeka sistemleri bugün canlı veri kaynaklarından okuma yapıyor, harici araçları ve API'leri çağırıyor, veritabanlarına yazıyor, alt otomasyonları tetikliyor ve giderek artan sayıda durumda hiçbir insan müdahalesi olmadan eylem gerçekleştiriyor. Bu yeteneklerin her biri, sohbet robotu döneminde var olmayan yeni bir saldırı yüzeyi anlamına geliyor.

Sohbet Robotu Dönemi Bitti, Tehdit Modeli Değişti​

Tehdit modelini değiştiren temel dönüşüm, yapay zekanın yalnızca metin üreten bir araç olmaktan çıkıp eylem alan bir sisteme dönüşmesi. Pilot aşamasındaki bir sohbet robotu yalnızca yanıt üretirken, üretimdeki bir ajan gerçek sistemler üzerinde işlem yapabiliyor. Canlı veriyi okuması, e-posta göndermesi, kayıt değiştirmesi veya kod çalıştırması mümkün hale geliyor. Bu durum, güvenlik bakış açısının da modelin davranışından, modelin etrafına inşa edilen sisteme kaymasını zorunlu kılıyor.
Kaynak içeriğe göre bu yeni mimaride riskler modelde değil, tesisatta yaşıyor. Daha yetenekli veya daha iyi hizalanmış bir LLM ile model değiştirilse bile bu risklerin tamamı varlığını sürdürüyor, çünkü sorun ağırlıklarda değil, iş akışının kurgusunda bulunuyor.

Okunan Veriler Üzerinden Gelen Saldırılar ve Aşırı Yetkiler​

En dikkat çekici saldırı vektörlerinden biri, bağlı veriler üzerinden gelen prompt injection olarak tanımlanıyor. Bir ajan CRM kaydından, destek biletinden, kazınmış bir web sayfasından veya paylaşılan bir belgeden içerik aldığında, bu içerik doğrudan bağlamının bir parçası haline geliyor. Bu durumda saldırganın modeli manipüle etmek için modele erişmesine gerek kalmıyor; modelin eninde sonunda okuyacağı bir veriye erişmesi yeterli oluyor.
Bir PDF içine gizlenmiş talimatlar, bir e-posta imzasına eklenmiş komutlar veya bir ürün yorumuna yerleştirilmiş yönlendirmeler, doğrudan sohbet penceresine yazılan kurgulanmış bir komut kadar etkili biçimde ajanın bir sonraki eylemini ele geçirebiliyor. Bu nedenle dış kaynaklardan gelen her içerik, potansiyel bir komut enjeksiyonu olarak ele alınmak zorunda.
İkinci kritik başlık ise aşırı yetkilendirilmiş araç çağrıları. Ajan çerçeveleri modellere giderek daha fazla fonksiyon çağırma yeteneği tanıyor: E-posta gönderme, veritabanı sorgulama, kayıt değiştirme, kod çalıştırma gibi. Bu entegrasyonların birçoğu geliştirme hızını artırmak için geniş API anahtarları ve görevin gerektirdiğinden çok daha fazla erişime sahip hizmet hesaplarıyla kuruluyor. Demo aşamasında en hızlı çözüm olan bu yaklaşım, üretimde tek bir manipüle edilmiş komutun veya tek bir muhakeme hatasının gerçek dünyada zincirleme etkiye dönüşmesine yol açabiliyor. Yanlış bir kaydın silinmesi, yanlış alıcıya mesaj gönderilmesi veya bir ödemenin tetiklenmesi gibi sonuçlar bu kapsamda değerlendiriliyor.

Araçlar Arası Kırılgan Güven Sınırları ve Kayıp Gözlemlenebilirlik​

Çok araçlı ve çok ajanlı boru hatları, bir bileşenin çıktısını çoğu zaman yeniden doğrulamadan diğerine aktarıyor. Güven sınırları arasındaki bu kırılganlık, ciddi bir zafiyet yaratıyor. Örneğin, güvenilmeyen bir belgeyi özetleyen bir modelin bu özeti üretim sistemine yazma erişimi olan ikinci bir ajana aktarması, işlevsel olarak kimliği doğrulanmamış bir üçüncü tarafa o sistem üzerinde etki imkanı vermek anlamına geliyor. Ortada hiçbir insanın açıkça bu güveni vermemiş olması durumu değiştirmiyor.
Bu mimariye eşlik eden bir diğer sorun ise gözlemlenebilirlik eksikliği. Geleneksel uygulama güvenliği, bir isteği loglamayı, çağrı yığınını izlemeyi ve bir olay sonrası ne olduğunu yeniden oluşturmayı varsayar. Ajan iş akışları ise çoğu zaman bunu sunamıyor. Muhakeme izleri deterministik değil, araç çağrı dizileri her çalıştırmada değişiyor ve birçok ekip, bir olay müdahalesinde "sistem gerçekte ne yaptı ve neden yaptı" sorusunu yanıtlayacak ayrıntıda ara kararları henüz loglamıyor.
Bu tabloya, devre kesicisi olmayan otomatik karar akışları ekleniyor. Özerklik arttıkça ajan yalnızca bir yanıt taslağı hazırlamıyor, onu doğrudan gönderiyor. Yalnızca bir anomaliyi işaretlemiyor, onun üzerine eyleme geçiyor. "Model karar verdi" ile "eylem gerçekleşti" arasında bir oran sınırı, onay kapısı veya kapatma anahtarı olmadığında, tek bir hatalı kararın maliyeti katlanarak artıyor. Özellikle tek bir hatalı muhakeme zincirinin insan fark etmeden binlerce hatalı eyleme dönüşmesi riski vurgulanıyor.

Yönetişim Boşluğu ve Güvenli Ölçeklendirme İçin Kontrol Listesi​

Kaynağa göre iş akışı düzeyindeki riskin yeterince yatırım almaması, organizasyonel bir nedene dayanıyor. Yapay zeka güvenliği soruları genellikle makine öğrenmesi veya veri bilimi ekiplerine düşüyor. Bu ekipler model davranışını değerlendirecek donanıma sahip olsa da entegrasyon güvenliği, erişim kontrolü veya üretim gözlemlenebilirliğini sahiplenmek için her zaman konumlandırılmıyor veya finanse edilmiyor. Buna karşılık, hizmetlerin birbirini çağırması, kapsamlı yetkilere sahip kimlik bilgileri, denetim loglaması ve olay müdahalesi gibi sistemleri on yıllardır güvenceye alan güvenlik ve platform mühendisliği ekipleri ise çoğu zaman ajan iş akışı zaten canlıya alınana kadar sürece dahil edilmiyor.
Yapay zekayı başarılı biçimde ölçeklendiren organizasyonların bu boşluğu erken kapattığı belirtiliyor. Bu kurumlar bir yapay zeka ajanına, gerçek sistemlere yazma erişimi olan herhangi bir yeni üretim hizmeti gibi davranıyor. Uygulamada bu yaklaşım, gösterişten uzak ancak kritik bir kontrol listesine karşılık geliyor:

• Varsayılan olarak en az ayrıcalık ilkesi: Araç ve API izinlerinin geliştirme sırasında uygun olana göre değil, belirli bir görevin tam olarak gerektirdiği ölçüde kapsamlandırılması. Bir ajan yalnızca müşteri kaydını okuması gerekiyorsa, aynı kayda yazabilecek bir kimlik bilgisine sahip olmaması gerekiyor.
• Özerklikten önce korumalı alan testi: Yeni araç entegrasyonları ve ajan yeteneklerinin hatalı bir kararın maliyetinin düşük olduğu bir ortamda test edilmesi ve üretime geçişin izlenen, kademeli bir süreçle yapılması.
• Yüksek sonuçlu eylemlerde insan onay kapıları: Özerkliğin ikili olmaması. Bir iş akışının modelin eylemi taslak olarak hazırlamasına izin verirken, geri ödeme, müşteriye e-posta gönderme veya canlı sistemde değişiklik gibi dışa dönük her işlemden önce açık onay gerektirmesi. Onay eşiğinin modelin ne kadar kendinden emin göründüğüne göre değil, eylemin etki alanına göre belirlenmesi gerekiyor.
• Yalnızca çıktı düzeyinde değil, karar düzeyinde loglama: Ajanın ne okuduğu, hangi araçları hangi argümanlarla çağırdığı ve neden çağırdığının kaydedilmesi, böylece olay sonrası "ne oldu ve neden" sorusunun tahmine gerek kalmadan yanıtlanabilmesi.
• Üçüncü taraf verisinin güvenilmeyen girdi olarak ele alınması: Ajanın kendi doğrulanmış sistemleri dışından aldığı her içeriğin, web sayfası, yüklenen dosya veya e-posta fark etmeksizin, geleneksel bir web uygulamasındaki kullanıcı girdisiyle aynı şüpheyle ele alınması.
• Açık devre kesiciler: Otomatik eylemler üzerinde oran sınırları, anomali tespiti ve manuel müdahale yeteneği, böylece tek bir hatalı muhakeme zincirinin binlerce hatalı eyleme dönüşmesinin engellenmesi.

\nBu maddelerin hiçbirinin egzotik olmadığı, aksine yirmi yıldır üretim yazılımlarını yöneten aynı mühendislik disiplininin parçası olduğu vurgulanıyor: Kapsamlandırılmış izinler, girdi doğrulama, gözlemlenebilirlik, kademeli dağıtım ve sonuç doğuracak eylemlerin insan tarafından gözden geçirilmesi. Yeni olan tek unsur, bu sistemin içinde artık olasılıksal ve zaman zaman öngörülemez bir modelin oturması ve bundan sonra ne olacağına dair bazı kararları onun vermesi.
Bu nedenle modelin etrafındaki iş akışı, hak ettiğinden daha fazla incelemeyi hak ediyor. Daha yetenekli bir model, aşırı yetkilendirilmiş bir entegrasyonu daha güvenli hale getirmiyor. Daha iyi hizalanmış bir LLM, eksik bir onay kapısını düzeltmiyor. Gerçek işletmeler içinde daha özerk ve sonuç doğurucu işler üstlenen yapay zeka ajanları yaygınlaştıkça, zarar görecek organizasyonların mutlaka daha zayıf bir model kullananlar olmayacağı, sistemlerinin baştan güvenli inşa edilip edilmediğini hiç sorgulamayanlar olacağı ifade ediliyor. Değerlendirme, VentureBeat topluluğunun konuk yazar programı kapsamında, Hyring'in kurucu ortağı ve CEO'su Adithyan RK'nin analizine dayanıyor.

Sıkça Sorulan Sorular​

Yapay zeka güvenliğinde neden model değil iş akışı zayıf halka olarak görülüyor?​

Kaynağa göre üretimdeki risklerin neredeyse hiçbiri modelin ağırlıklarıyla ilgili değil, modelin etrafına inşa edilen sistemle ilgili. Daha yetenekli veya daha iyi hizalanmış bir LLM kullanılsa bile aşırı yetkiler, eksik onay kapıları ve zayıf gözlemlenebilirlik gibi sorunlar devam ettiği için zayıf halka iş akışının kendisi olarak tanımlanıyor.

Üretimdeki yapay zeka ajanları sohbet robotlarından nasıl farklı çalışıyor?​

Kaynak, son iki yıldır varsayılan modelin kullanıcı komut yazar, model metin döndürür, insan okur şeklinde olduğunu ancak bu modelin artık geçersiz olduğunu belirtiyor. Üretimdeki ajanlar canlı veri kaynaklarından okuyor, harici araç ve API'leri çağırıyor, veritabanlarına yazıyor, alt otomasyonları tetikliyor ve giderek daha fazla durumda insan müdahalesi olmadan eylem gerçekleştiriyor.

Bağlı veriler üzerinden prompt injection nasıl gerçekleşiyor?​

Ajan CRM kaydı, destek bileti, kazınmış web sayfası veya paylaşılan belge gibi kaynaklardan içerik aldığında bu içerik bağlamına dahil oluyor. Saldırganın modele erişmesine gerek kalmıyor, modelin okuyacağı bir veriye erişmesi yeterli oluyor. PDF içine, e-posta imzasına veya ürün yorumuna gizlenmiş talimatlar ajanın bir sonraki eylemini ele geçirebiliyor.

Aşırı yetkilendirilmiş araç çağrıları ve kırılgan güven sınırları ne anlama geliyor?​

Kaynağa göre ajanlara e-posta gönderme, veritabanı sorgulama, kayıt değiştirme ve kod çalıştırma gibi yetkiler hız odaklı geniş API anahtarları ve fazla yetkili hizmet hesaplarıyla veriliyor. Bu durumda tek bir manipüle edilmiş komut yanlış kaydın silinmesi veya yanlış ödemenin tetiklenmesi gibi sonuçlara yol açabiliyor. Ayrıca bir ajan tarafından özetlenen güvenilmeyen bir belgenin yazma yetkisi olan başka bir ajana doğrulanmadan aktarılması, üçüncü tarafa dolaylı sistem erişimi sağlıyor.

Güvenli ölçeklendirme için hangi kontrol listesi öneriliyor?​

Kaynakta en az ayrıcalık ilkesi, özerklikten önce korumalı alanda test, yüksek sonuçlu eylemlerde insan onayı, karar düzeyinde loglama, üçüncü taraf verisinin güvenilmeyen girdi olarak ele alınması ve oran sınırları ile manuel müdahale içeren açık devre kesiciler olmak üzere altı maddelik bir kontrol listesi öneriliyor. Bu yaklaşımın yapay zeka ajanını yazma erişimi olan herhangi bir üretim hizmeti gibi ele almayı gerektirdiği vurgulanıyor.