Güvenlik firması Xint, OpenAI'ın sohbet sıkıştırma özelliğini kullanarak GPT-5.6-Sol modelinin şifreli akıl yürütme sürecini düz metne dönüştürebildiğini gösterdi. OpenAI açığı 23 Ekim'de kapattı ve araştırmacılara 6.000 dolar ödül verdi.
Yazılım ve Uygulamalar
Admin3 okunma

OpenAI'ın Sıkıştırma Özelliği, Gizli Akıl Yürütmeyi Açığa Çıkardı

Güvenlik firması Xint, OpenAI'ın sohbet sıkıştırma özelliğini kullanarak GPT-5.6-Sol modelinin şifreli akıl yürütme sürecini düz metne dönüştürebildiğini gösterdi. OpenAI açığı 23 Ekim'de kapattı ve araştırmacılara 6.000 dolar ödül verdi.

OpenAI'ın Sıkıştırma Özelliği, Gizli Akıl Yürütmeyi Açığa Çıkardı

Haber detayı

Güvenlik araştırma firması Xint, OpenAI'ın uzun sohbetleri kısaltmak için sunduğu "compaction" (sıkıştırma) özelliğinin, modelin normalde kullanıcıdan gizli tutulan akıl yürütme sürecini düz metin olarak dışarı sızdırmak amacıyla kullanılabildiğini ortaya koydu. OpenAI, sorunu doğrulayarak 23 Ekim'de düzeltti ve Xint araştırmacılarına 6.000 dolar ödül ödedi.

Gizli Akıl Yürütme Neden Korunuyor?​

OpenAI'ın akıl yürütme modelleri, bir soruya yanıt vermeden önce adım adım bir düşünce süreci işletir. Servis bu süreci normalde yalnızca şifreli bir nesne olarak döndürür; kullanıcı ham akıl yürütme metnini doğrudan okuyamaz. Bu koruma, kısmen "distilasyon" olarak bilinen uygulamayı önlemeye yöneliktir: Bir şirketin modelinin çıktıları başka bir şirket tarafından daha ucuz bir modeli eğitmek için kullanılabilir. Ham akıl yürütme metni, modelin problemi nasıl çözdüğünü gösterdiği için nihai yanıta kıyasla çok daha değerli bir eğitim verisi oluşturur.

Xint'in Yöntemi Nasıl Çalıştı?​

Xint, tekniği OpenAI'ın akıl yürütme modellerinden biri olan gpt-5.6-sol üzerinde denedi. Araştırmacılar kendi yazdıkları matematik ve algoritma bulmacalarını modele göndererek şifreli akıl yürütme nesnesini elde etti. Ardından sıkıştırma adımını aynı model üzerinde çalıştırarak bu akıl yürütmenin her boşluk karakteri sekme karakteriyle değiştirilmiş biçimde, yani OpenAI'ın kullanım politikası filtrelerini aşacak şekilde sıkıştırılmış nesneye kopyalanmasını sağladı.
Sıkıştırma nesneleri modeller arasında taşınabildiğinden Xint, elde ettiği nesneyi daha ucuz modeller olan gpt-4.1 ve gpt-4o'ya iletti ve her ikisinden de girdiyi aynen tekrar etmesini istedi. Her iki model de bunu yaptı. Bu adım, kopyalama işlemindeki olası hataları dışladı; ancak sıkıştırma aşamasının metni yeniden ifade etmiş olabileceği ihtimali araştırmacılar tarafından açık bırakıldı.
Xint, elde ettiği metnin modelin gerçek akıl yürütmesiyle birebir örtüşüp örtüşmediğini doğrulayamadığını da belirtti; zira karşılaştırma yapacakları orijinal metne hiçbir zaman erişimleri olmadı. Ayrıca yöntemin başka bir kullanıcının akıl yürütme verisine ulaşabildiğine dair herhangi bir iddiada bulunmadı.

Daha Önce Uygulanan Korumayı Nasıl Aştı?​

Ağustos ayında "Stolen Thoughts" (Çalınan Düşünceler) başlıklı bir makalenin yazarları, güçlü bir modelin şifreli akıl yürütmesinin aynı şirketin daha zayıf bir modeline aktarılabileceğini ve bu modelin akıl yürütmeyi düz metin olarak tekrarlayabileceğini göstermişti. OpenAI ve diğer şirketler bu model-arası aktarım açığını kısa süre içinde kapattı. Xint'in compaction yöntemi bu engeli aşabildi; çünkü sıkıştırma adımı, akıl yürütmeyi üreten modelin kendisi üzerinde çalıştı ve bu nedenle model-arası kontrol hiçbir zaman devreye girmedi.
Bu teknik, Xint'in daha önce yayımladığı GhostCompact çalışmasının üzerine inşa edildi. GhostCompact, sıkıştırma adımının saldırganın belirlediği görevleri yürütmek üzere yönlendirilebildiğini ortaya koymuştu. Xint bu kez aynı mekanizmayı akıl yürütme verisini dışarı çıkarmak için kullandı.

OpenAI'ın Düzeltmesi ve Araştırmacıların Uyarısı​

Düzeltme OpenAI tarafından sunucu tarafında yapıldığından, API üzerinden uygulama geliştiren geliştiricilerin herhangi bir değişiklik yapması gerekmiyor. Xint bu düzeltmeyi kamuoyuyla paylaşılmamış bir güncelleme olarak nitelendirdi. Araştırmacılar ayrıca yöntemin kodunu GitHub deposunda yayımladı.
Xint, tek bir güvenlik açığının kapatılmasının yeterli olmayabileceği görüşünü de paylaştı. Firmaya göre, bir modelin şifresi çözülmüş akıl yürütmesini okuyan ve kullanıcı talimatlarını izleyen herhangi bir sunucu taraflı adım, bu veriyi sızdırma riski taşıyabilir. Araştırmacılar yalnızca gpt-5.6-sol'u test etti; OpenAI'ın daha yeni modeli GPT-6 Astra'nın bu durumdan etkilenip etkilenmediği incelenmedi.
Yöntemin OpenAI tarafından kapatılmadan önce gerçek bir saldırıda kullanılıp kullanılmadığı bilinmiyor. OpenAI, Eylül ayında Temmuz ayında gerçekleşen ve modellerinin gizli akıl yürütmesini ele geçirmeye yönelik bir kampanyayı engellediğini açıklamış; bu kampanyanın temel unsurlarını Çin'in Moonshot AI şirketiyle bağlantılı kişilerle ilişkilendirmişti. Anthropic ve ABD hükümetinin ortak bir danışma belgesi de Çin merkezli laboratuvarların Amerikan modellerinin gizli akıl yürütmesini hedef aldığını raporlamıştı. Ancak bu gelişmelerin hiçbiri Xint'in compaction yöntemiyle doğrudan ilişkili değil.

Sıkça Sorulan Sorular​

OpenAI'ın compaction özelliği nedir?​

Compaction, OpenAI'ın uzun bir sohbeti bağlamı koruyarak daha küçük, şifreli bir nesneye sıkıştırmak için kullandığı bir özelliktir. Bu nesne, konuşmanın devamını taşımak amacıyla modeller arasında aktarılabilir.

Xint bu açığı hangi model üzerinde test etti?​

Xint tekniği yalnızca OpenAI'ın akıl yürütme modellerinden biri olan gpt-5.6-sol üzerinde denedi. OpenAI'ın daha yeni modeli GPT-6 Astra'nın bu açıktan etkilenip etkilenmediği araştırmacılar tarafından test edilmedi.

OpenAI açığı ne zaman kapattı ve araştırmacılara ödül verdi mi?​

OpenAI sorunu 23 Ekim'de düzeltti. Xint'e göre şirket, araştırmacılara 6.000 dolar ödül ödedi ve düzeltmeyi kamuoyuyla paylaşmadı.

Bu yöntem daha önce uygulanan korumayı nasıl aştı?​

Ağustos ayında kapatılan önceki açık, güçlü bir modelin şifreli akıl yürütmesinin farklı bir modele aktarılmasına dayanıyordu. Xint'in yöntemi ise sıkıştırma adımını akıl yürütmeyi üreten modelin kendisi üzerinde çalıştırdığından model-arası kontrol mekanizması devreye girmedi ve engel aşılabildi.

Xint, elde ettiği metnin modelin gerçek akıl yürütmesiyle aynı olduğunu kanıtlayabildi mi?​

Hayır. Xint, karşılaştırma yapabileceği orijinal akıl yürütme metnine hiçbir zaman erişemedi. Bu nedenle elde edilen metnin birebir aynı mı yoksa sıkıştırma aşamasında yeniden ifade edilmiş mi olduğu kesin olarak doğrulanamadı.

Etiketler

Yorumlar (0)

Yorum yapmak için giriş yapmalısınız.

Geri
Üst