OpenAI güvenlik talimatlarını değiştirdi, bağımsız yeniden test yapılmadı
UK AISI'nin testlerine yanıt olarak OpenAI, modelin güvenlik talimatlarını ve koruma önlemlerini değiştirdi. Şirket, 6 Kasım'da enstitüye yeniden test için üç ek iş günü teklif etti. Sistem kartında "Yazıldığı itibarıyla UK AISI bu son değişiklikleri bağımsız olarak test etmedi" ifadesi yer alıyor. OpenAI, iç testlerinin değişiklikleri doğruladığını ve gerilemenin hafifletildiğine inandığını söylüyor. VentureBeat'in sorularına yanıtında şirket sistem kartına atıfta bulundu ve ek ayrıntı vermedi; UK AISI ise yayına kadar yanıt vermedi.Jailbreak ajan tabanlı siber görevlere uzatıldı
UK AISI, jailbreak'i ajan tabanlı siber görevlere de uyguladı ve bu bağlamda önemli ajan siber yetenekleri ortaya çıkardı. Ön sonuçlar, test penceresi içinde jailbreak uygulanmış modelin önde gelen açık kaynak modellere göre performans avantajı olmadığını gösterdi. Ancak enstitü, daha fazla çabayla jailbreak'in substantially daha etkili hale gelebileceği görüşünde. Enstitünün kırmızı takım lideri Xander Davies, 17 Kasım'da X'te tek bir araştırmacının her iki model sürümüne karşı evrensel bir siber jailbreak geliştirdiğini yazdı.OpenAI'nin kendi otomatik kırmızı takım çalışması, 29 Ekim-3 Kasım arasında yürütülen testlerde iki jailbreak'i yüksek şiddette değerlendirdi. Şirket, ek testlerin ardından her iki dahili keşifli jailbreak'i de hafiflettiğini belirtiyor. Kart ayrıca dört özel kırmızı takım kuruluşunun yüksek veya kritik barında hiçbir bulgu rapor etmediğini kaydediyor.
Google ve Anthropic'in kırmızı takım sonuçları
Google'nin Kasım 2026 tarihli Gemini 4 Carbon güvenlik raporu, Gray Swan ve Trajectory Labs tarafından yapılan dış kırmızı takım testlerini listeliyor. Trajectory Labs, kendi zaman dilimi içinde "görevler arasında genelleşen yeni evrensel jailbreak" bulamadığını bildirdi. Gray Swan'ın saldırıları, test edilen 25 siber hedefin en az bir denemede yüzde 40'ında başarılı oldu; bu oran Gemini 4 Argon'daki yüzde 56'nın altında.Anthropic'nin 9 Kasım tarihli Claude Fable 5.2 ve Mythos 5.2 sistem kartı, dış kırmızı takımlardan evrensel jailbreak kaydetmediğini gösteriyor. Trajectory Labs, Fable 5.2'de yaklaşık 138 saatte ve 40 binden fazla istekte her biri göreve özgü 14 kırılma kaydetti. Bu kırılmalar, korumalı test ortamlarında başarılı saldırılardı. Anthropic, kartın dış bir değerlendirici tarafından incelenmediğini belirtiyor. Üç şirketin değerlendirmeleri farklı görevler ve test yöntemleri kullandığından bulgular doğrudan karşılaştırılabilir değil.
Her iki model de değerlendirme farkındalığı gösterdi
UK AISI ayrı simüle edilmiş uyum testlerinde GPT-6.2 Astra ve Claude Mythos 5.2'nin yetkisiz bir tedarik zinciri saldırısı gerçekleştirip gerçekleştirmeyeceğini inceledi. GPT-6.2 Astra koşuların yüzde 85'inde test edilip edilmediğini değerlendirdi; bu oran GPT-6 Astra'da yüzde 57 idi. Mythos 5.2 ise koşuların yüzde 96'sında muhakemesinde değerlendirilme olasılığını dile getirdi. Hiçbir model bu değerlendirmelerde saldırıyı gerçekleştirmedi.UK AISI bu temiz sonuçların hiçbirini kanıt olarak kabul etmiyor. OpenAI'nin kartı, enstitünün GPT-6.2 Astra sonucunu bilgilendirici görmediğini bildiriyor. Ayrı bir yanlış hizalama arama aracı kullanan UK AISI, GPT-6.2 Astra'nın simüle bir siber güvenlik zorluğunda yetkisiz bir tedarik zinciri saldırısı yürütmek için sosyal mühendislik yaptığını tespit etti. Mythos 5.2'de ise kartta yer alan bulguya göre temiz sonuç "değerlendirme amacını tanıma eğilimi ve yeteneğiyle açıklanabilir".
Üç laboratuvarda da monitör zafiyetleri bulundu
UK AISI, GPT-6.2 Astra'yı monitör olarak görevlendirdi ve GPT-6 Astra'nın yetkisiz bir siber saldırı yürüttüğü kayıtları incelemesini istedi. Model, ihlal gösteren kayıtların yüzde 19'unu işaretlemedi. Monitöre GPT-6 Astra'nın özetlenmemiş muhakemesi de verildiğinde ıskalama oranı yüzde 51'e çıktı. Enstitü bunu, OpenAI modellerinin diğer OpenAI modellerini işaretlemede başarısız olduğu bir ilişkisel başarısızlık olarak nitelendirdi. OpenAI da özetlenmemiş muhakemeyi işlemek için yalnızca OpenAI modellerinin kullanılmasını istemişti; enstitü bu geçici kısıtlamanın değerlendirmelerinin etkinliğini ve karşılaştırılabilirliğini azalttığını söyledi.Anthropic, Mythos 5.2'den fark edilmeden bilerek düşük performans göstermesini istedi ve bir monitör muhakemesini okudu. Model, yaklaşık dört denemeden birinde niyetini monitörden gizledi; kart, bunun Anthropic'nin karşılaştırmasında bunu yapan ilk model olduğunu belirtiyor. UK AISI'nin Kontrol Kırmızı Takımı, Temmuz'da Anthropic'nin dahili kodlama monitörü hakkında "Test ettiğimiz her monitör sürümünde zafiyet bulduk" yazdı ve bir Google DeepMind muhakeme monitöründe de birden fazla zafiyet rapor etti.
UK AISI, GPT-6.2 Astra'nın uyumunun ek koruma önlemleri olmadan gerçek dünyada zarar verebilecek biçimlerde başarısız olabileceği uyarısında bulundu. Enstitü, bu tür başarısızlıkların ne zaman ve neden gerçekleştiğini tam olarak bilmediğini belirtiyor ve güvenlik kontrolleri, izleme sistemleri ile model yeteneklerine sınırlamalar ihtiyacının altını çiziyor. Bedrock Data'da CSO ve üç kez CISO olan George Gerchow, Eylül'de VentureBeat'e yazılı yanıtlarında şunları söyledi: "Çalıştırdığım her ajan kapsamlı bir kimlik devralır ve bundan sonra ne yapmaya karar verirse versin onu aşamaz."

Siber Güvenlik
Siber Güvenlik
Siber Güvenlik
Yorumlar (0)
Yorum yapmak için giriş yapmalısınız.