OpenAI'dan 719 Matematik Çalışması: Doğrulama Yıllar Sürecek

OpenAI'ın bu hafta aniden yayınladığı yaklaşık 400 yapay zeka üretimi matematik sonucu, matematik dünyasında şaşkınlık ve kaygıya yol açtı. 719 el yazmasına yayılan ve kombinatorikten geometriye, sayılar teorisinden teorik bilgisayar bilimine kadar uzanan devasa koleksiyonu anlamlandırmaya çalışan üç düzineden fazla matematikçi, The Verge'e verdikleri demeçlerde tabloyu "şaşırtıcı", "bunaltıcı", "benzeri görülmemiş" ve "tam bir çılgınlık" sözleriyle tanımladı. Araştırmacılar, yalnızca ne yayınlandığını anlamanın bile yıllar alabileceği konusunda hemfikir olurken, OpenAI'ın beklemeden yola devam etmesinden veya daha fazlasını yayınlamasından endişe ediyor.

719 El Yazması ve 400 Sonucun Kapsamı​

OpenAI'ın yayınladığı koleksiyon, ölçeği itibarıyla bugüne kadar matematik alanında görülen en büyük toplu sonuç açıklamalarından biri oldu. Şirket, 400'e yakın üst düzey sonucu 719 ayrı el yazmasına dağıttı. Çalışmalar kombinatorik, geometrinin çeşitli dalları, sayılar teorisi, teorik bilgisayar bilimi, cebir, topoloji, olasılık ve istatistiksel mekanik ile matematiksel fizik dahil olmak üzere çok geniş bir yelpazeyi kapsıyor.
Koleksiyon o kadar geniş ki OpenAI, GitHub'daki dağınık arşivde nasıl gezinileceğine dair bir rehber yayınlama ihtiyacı hissetti. The Verge ile konuşan matematikçilerin çoğu, yayın sonrası saatler ve günler boyunca materyali sindirmekte zorlandıklarını söyledi. Connecticut Üniversitesi'nden matematik profesörü Álvaro Lozano-Robledo, yalnızca yaklaşık 40 sayfalık içindekiler ve özetler listesini gözden geçirmenin bile bir saatin büyük bölümünü aldığını belirtti. Lozano-Robledo, "Özetlerin tamamına göz gezdirmek bile bunaltıcı" dedi.
Şirketin kendi açıklamasına göre model 4 binden fazla problem üzerinde deneme yaptı ve tipik bir sonuç için yaklaşık üç saatlik ChatGPT Pro düşünme işlemi kullanıldı. Bu üretim hızı, insan ekibin inceleme kapasitesini çok aşıyor.

Doğrulama Tartışması: Lean Formalizasyonu Yetersiz Kaldı​

Yüzlerce el yazması arasında, sonuçların hesaplamalı olarak doğrulanmasına olanak tanıyan bir programlama dili ve ispat asistanı olan Lean ile formalizasyonlar da yer alıyor. Bu formalizasyonlar, OpenAI'ın önceki matematiksel iddialarını değerlendirmede önemli rol oynamış ve araştırmacılara argümanı tam olarak anlamasalar bile bir iddianın mantıksal olarak doğru olduğuna dair güven vermişti.
Ancak bu sefer her sonucun doğrulanma derecesi büyük ölçüde değişkenlik gösteriyor. OpenAI, GitHub'da sonuçların "farklı doğrulama aşamalarında" olduğunu ve "el yazmalarının çoğunun, ancak hepsinin değil, formalize edildiğini" kabul etti. Şirketin açıklamasına göre 719 el yazmasından yalnızca 300 üst düzey sonuç formalize edildi; bu oran yaklaşık yüzde 42'ye karşılık geliyor. Şirket, "daha fazla formalizasyon elde ettikçe depoyu güncelleyeceğini" duyurdu.
Birçok matematikçi, sonuç sayısının çokluğuna rağmen formalizasyon eksikliğinden şikayet etti. Lean kodu eşlik etse bile değerlendirmenin anlık olmadığını, formalizasyonun gerçekten iddia edilen sonucu kanıtlayıp kanıtlamadığının kontrol edilmesinin de zaman alan bir süreç olduğunu vurguladılar. Bazı araştırmacılar, bilgisayar tarafından doğrulanabilir ispatların sağlandığı durumlarda bile kalitenin tutarsız olduğunu ve doğrulanan ifadelerin her zaman el yazmalarındaki iddialarla net biçimde örtüşmediğini söyledi.
Imperial College London'dan matematik profesörü Kevin Buzzard, kendi alanı olan cebirsel sayılar teorisinde çok sayıda teorem tespit ettiğini ancak bunlardan yalnızca yaklaşık altısının hemen "öne çıktığını" söyledi. Bu öne çıkanların neredeyse hiçbirinin Lean'de formal olarak doğrulanmış görünmediğini belirten Buzzard, "Dolayısıyla ya muhtemelen doğru olmayan çöplüğü okumak zorundayım ya da başkalarının aynısını yapmasını beklemek zorundayım ya da sonuçların doğru olduğundan emin olabilmek için birinin onları formalize etmesini beklemek zorundayım" dedi.

Slopocalypse Endişesi ve Makale Kalitesi Eleştirileri​

Buzzard'ın "slop" olarak adlandırdığı düşük kaliteli, sıklıkla hatalı yapay zeka üretimi materyal endişesi, alandaki birçok araştırmacı tarafından paylaşıldı. Matematikçiler, ChatGPT ve Claude gibi araçlarla üretilen bu tür materyallerde son yıllarda büyük artış gördüklerini, bu metinlerin kafa karıştırıcı, okunması zor ve konuya hakimiyetten yoksun olduğunu, özellikle atıf konusunda özensiz davrandığını anlattı. OpenAI'ın önceki matematiksel yazımları da uzmanlar tarafından özensizliği ve zayıf ya da hiç olmayan atıfları nedeniyle eleştirilmişti. Yayın öncesinde bazı araştırmacılar, beklenen sel için "slopocalypse" ifadesini kullanmaya başlamıştı.
Erken izlenimler, OpenAI'ın bu kez bazı makalelerde daha özenli davrandığı yönünde olsa da araştırmacılar bunun çıtanın zaten çok düşük olması nedeniyle beklenti altında bir iyileşme olduğunu söyledi. Daha iyi olması, iyi olduğu anlamına gelmiyor. Birçok sonuç için formal doğrulama bulunmadığından, makalelerin kalitesi sonuçların teyit edilmesi, anlaşılması ve bağlama oturtulması için birincil araç haline geliyor.
Brown Üniversitesi'nden matematik profesörü Brendan Hassett, "En iyi bildiğim problemin yazımı hızlı bir okumadan sonra pek mantıklı gelmedi. Bunu bir insan yazmış olsaydı, anlamaya çalışmak için daha fazla zaman harcamazdım. Tabii geriye 721 preprint daha kalıyor" dedi. Hassett bu sözleri OpenAI üç makaleyi geri çekmeden önce söylemişti. Bazı araştırmacılar, birkaç makalenin zaten başka matematikçiler tarafından ele alınmış konuları kapsıyor gibi göründüğünü, ancak materyali düzgünce incelemeden bunu açıkça dile getirmekten çekindiklerini aktardı. Diğerleri, normalde yüzlerce sayfada geliştirilmesi beklenen sonuçların birkaç düzine sayfaya sıkıştırılmış olmasındaki olağandışı kısalığa dikkat çekti.
Sidney Üniversitesi'nden matematik profesörü Nalini Joshi, hızlı bir taramada kendi çalışmalarıyla çok az örtüşme bulduğunu ancak incelediği bazı makalelerin "kısa kaynakçalara" sahip olduğunu ve atıfların eksik olabileceğinden endişe duyduğunu söyledi.

Öne Çıkan İddialar: Riemann, Hodge ve Kakeya​

Tüm belirsizlik ve eleştirilere rağmen genel kanı, yayının gerçekten etkileyici çalışmalar içerdiği yönünde. Araştırmacılar, materyalin hacmi ve doğrulama ihtiyacı konusundaki çekincelerini korurken, çalışmaların sunumundaki eksikliklere rağmen çok yüksek kalitede göründüğünü söyledi. Yapay zeka öncesi bir dünyada, OpenAI'ın sonuçlarının çoğunun üst düzey dergilerde yayınlanmayı hak edeceği ve yazarlarına akademik kariyer sağlayabileceği belirtildi. Hatta bir avuç sonucun, alanın en yüksek onurlarından biri olan Fields Madalyası için ciddi adaylık yaratabilecek nitelikte olduğu ifade edildi.
Stanford matematikçisi Jared Duker Lichtman, bu kategoriye koyduğu "onlarca" sonuç olduğunu söyledi ve bunlar arasında Riemann hipotezine doğru ilerleme, Hodge varsayımının özel bir durumu ve dört boyutlu Kakeya varsayımının çözümünü saydı. Riemann ve Hodge, matematiğin yedi ünlü Milenyum Ödülü probleminden ikisi. Riemann asal sayıların dağılımıyla, Hodge ise çok kabaca karmaşık geometrik şekillerin daha basit yapı taşları cinsinden nasıl anlaşılabileceğiyle ilgili. Kakeya ise bir iğneyi veya kalemi her yönde döndürmek için ne kadar az alana ihtiyaç duyulduğunu soruyor. Bu yıl NYU matematikçisi Hong Wang, Kakeya'nın üç boyutlu versiyonunun ispatı da dahil olmak üzere başarıları nedeniyle Fields Madalyası almıştı.
Matematikçi Scott Armstrong, "Bunlar kimsenin duymadığı saçma problemler değil. Birçoğu onlarca yıldır birçok insanın uğraştığı çok iyi bilinen problemler" dedi.

Akademide Şok Dalgası: Hibe ve Kariyerler İptal Oldu​

Toz duman yatışırken matematikçiler bir anda değişen bir manzarayla karşı karşıya kaldı. Birçoğu yıllarca süren çalışmalarının ve dikkatle planlanmış araştırma programlarının bir anda buharlaştığını gördü veya meslektaşlarının aynı durumu yaşadığına tanık oldu. Heyecan, korku ve umutsuzluk arasında derin bir yön kaybı hissi hakimdi.
Paris'te telefonla konuşan Armstrong, Sorbonne öğrenci protestoları nedeniyle kapalı olmasaydı ve meslektaşları her zamanki kahve makinesinin etrafında toplansaydı atmosferin oldukça "kasvetli" olacağını hayal ettiğini söyledi. St Andrews Üniversitesi'nden Colva Roney-Dougal, meslektaşları ve öğrencileri arasında benzer şekilde kasvetli bir hava olduğunu, selin bir ölçüde "korkunç" hissettirdiğini ancak haftalar süren belirsizliğin ardından gelmesinin bir nebze rahatlama getirdiğini anlattı.
Roney-Dougal, "Hibe başvuruları tamamen silinmiş bir sürü arkadaşım ve meslektaşım var" dedi. Armstrong, bir grubun tüm araştırma programının pratikte "silindiğini" bildiğini söyledi. Daha önce Navier-Stokes problemi konusunda OpenAI ile anlaşmazlık yaşayan NYU matematikçisi Tristan Buckmaster ise şimdiden "tüm araştırma programları yok olan üç kişi" duyduğunu belirtti. Heriot-Watt Üniversitesi'nden Francesco Fournier-Facio, olasılık, kombinatorik ve teorik bilgisayar bilimi alanlarındaki araştırmacıların "özellikle şokta" göründüğünü, kendi alanı olan grup teorisinin bazı bölgelerinin "buldozerle ezildiğini" söyledi.
Armstrong ve diğerleri, bazı alanların neredeyse askeri bir hassasiyetle hedef alındığını belirtti. Wang'ın bu yıl Fields Madalyası aldığı alan ve çeşitli Milenyum problemleri hedefler arasındaydı. Matematiksel fizikteki bir dizi sonuç ise OpenAI'ın modern parçacık fiziğinin temelini oluşturan Yang-Mills teorisi ve onun çözülmemiş "kütle aralığı" problemini hedef aldığını gösteriyordu.
Buna karşılık bazı araştırmacılar kendi çalışmalarına dokunulmamış olmasının şaşkın rahatlığını yaşadı. Roney-Dougal, büyük ölçüde grup teorisine odaklanan kendi alanının nispeten yara almadan kurtulduğunu, "çok modası geçmeyen bir alanda" çalışmasının şans olduğunu esprili bir dille söyledi, ancak daha sonra bir makalede kendi çalışmasına atıf bulduktan sonra "emin olamadığını" mesajla iletti. Joshi de büyük ölçüde integrallenebilir sistemlere odaklanan çalışmalarında az örtüşme buldu.
Bartosz Naskręcki, "Bu ölçek farklı bir seviye. Büyük bir karmaşa. Akademik kültürde büyük bir çöküşe neden olabilir ve fakültelerin çoğunu bitirebilir. Bu sosyal bir sorun ve yapay zeka laboratuvarları bu konuyu tamamen görmezden geliyor gibi görünüyor" dedi.

Sorumlu Yayın Tartışması ve AGMAI'nin Talepleri​

OpenAI, yayının yıkıcı olacağını biliyordu ve etkiyi yumuşatmak için matematik camiasıyla temas kurdu. Yıl başında araştırmacılarla yaşanan birkaç sert karşılaşmanın ardından şirket, sonuçların sorumlu bir şekilde nasıl yayınlanacağı konusunda yeni kurulan Matematik ve Yapay Zeka Danışma Grubu (AGMAI) ile çalıştı. AGMAI, yapay zeka laboratuvarlarının ideal olarak "bir insanın anladığı" makaleler yayınlaması, aksi halde insanların yapay zeka üretimi çıktıyı anlaması için gerekli desteği sağlaması, mümkün olduğunda ispatları formalize etmesi ve modeller ile kullanılan komutları açıklaması gerektiğini belirtmişti. Grup ayrıca şirketlerin matematiksel yayınları "modellerini tanıtmak için pazarlama araçları" olarak kullanmayı bırakması ve ileri matematik problemlerini bilim camiasının erişemediği kapalı modeller üzerinde test etmeyi durdurması çağrısında bulunmuştu.
OpenAI bu tavsiyelerin bir kısmına uydu. Çalışmalarını işlemek için topluluğa yardımcı olacak bir dizi atölye ve konferansı finanse edeceğini söyledi, ancak ayrıntı vermedi. Önceki yayınlara göre önemli ölçüde daha fazla bilgi açıkladı ve GitHub'da "makale revizyonları ve atıflar için protokoller" uyguladığını, "koleksiyonun kamuya açık yayın geçmişini koruyacağını" belirtti. 8 Ekim itibarıyla bu kayıt, bir düzineden fazla el yazmasında revizyon ve bir "işaret hatası" nedeniyle argümanı geçersiz kıldığı belirtilen üç makalenin kaldırılması dahil çok sayıda düzeltme içeriyordu. Şirket, The Verge'in daha fazla ayrıntı talebine kayıt dışı yanıt vermedi.
Ancak OpenAI, en önemli tavsiyelerden bazılarına uymadı. Yayının arkasındaki modeli tanımlamadı, kullanılan komutları veya modelin denediği tüm problem setini açıklamadı. Şirket, formalizasyonların eksik olduğunu kabul etti ve makalelerin kalitesini "atıflar, matematiksel anlatım ve sonuçların daha iyi anlaşılması için sunumu" yoluyla iyileştirmeye kararlı olduğunu söyledi. Araştırmacılar, OpenAI'ın neden bu kaliteyi baştan sağlayamadığını ve geri çekilen makalelerde olduğu gibi sonuçları önceden kontrol edemediğini sorguladı.
En önemlisi, şirket matematik problemleri üzerinde modellerini test etmeyi durdurmayı planlamadığını ve bunu bir zorunluluk olarak gördüğünü belirtti: "Bilim insanlarını en son teknolojiyle doğrudan güçlendirmek istiyoruz ve bu sonuçları üreten modeli sorumlu bir şekilde yayınlamak için çalışıyoruz. Bu nedenle iç sınır modellerimizi matematik ve diğer bilimlerde değerlendirmeye devam etmek önemli."
AGMAI, yayın sonrası açıklamayı "ilk adım" olarak nitelendirdi ve hesaplama gücü ile araştırma araçlarına eşit erişim çağrısını yineledi. Grup, "matematiksel araştırmanın geleceği yalnızca yapay zeka laboratuvarları tarafından üretilen sonuçları anlamaktan ibaret olamaz" vurgusunu yaptı.
Matematikçiler, OpenAI ortadan kaybolsa bile yayını anlamlandırmanın on yıl süreceğini söylüyor. Armstrong, durumu uzaylıların kısa bir ziyareti sonrasındaki kargaşaya benzetti: "Yapay zekalar şimdi yok olsa, sanki Dünya'ya gelen ve sonra giden uzaylılar gibi, önümüzdeki 10 yıl boyunca her şeyi anlamaya çalışarak geçirirdik." Lichtman ve Lozano-Robledo, sonuçların "mevcut yöntem ve tekniklerden" çıktığını, bilinen matematiksel manzaranın içini doldurduğunu ancak tamamen yeni alanlar yaratmadığını belirtti. Yine de Lozano-Robledo, "Matematik araştırması esasen sonsuz. Araştırma devam edecek" dedi. Londra Matematik Bilimleri Enstitüsü'nden Yang-Hui He ise yeni fikirlerin ve "belki de yeni matematik alanlarının" ortaya çıkabileceği konusunda heyecanlı olduğunu söyledi.
Buna rağmen birçok araştırmacı, şirketlerin topluluk sonuçları sindirmeye fırsat bulamadan anında yola devam etmeye hazır göründüğünü, bunun da matematiğin yalnızca bir problem listesini işaretlemekten ibaret olduğu yönünde yoksul bir bakış açısını pekiştirdiğini düşünüyor. Çözümler önemli olsa da, onlara giden yolda fikir geliştirmek, bağlantılar kurmak ve yeni sorular bulmak da en az o kadar değerli. Şirketler yalnızca cevapları bulup çevreleyen işi topluluğa bıraktığında, bu yük matematikçilerin omuzlarına kalıyor.
Geleceğe dair belirsizlik sürüyor. Matematikçiler arasında OpenAI'dan daha fazla yayın geleceğine dair söylentiler dolaşıyor ve Roney-Dougal bir başka dalgadan veya Anthropic gibi başka bir laboratuvarın devreye girmesinden endişe duyduğunu söyledi. Kesinti, özellikle doktorası devam edenler, genç araştırmacılar ve kadrosu olmayanlar için ağır. Açık problemler tezlerin, hibe başvurularının ve iş başvurularının temelini oluşturuyor. ETH Zürih'ten ve Fransız Ulusal Bilimsel Araştırma Merkezi'ne (CNRS) katılmaya hazırlanan Simon Machado, "Fonunun sonunda olan veya şimdi iş arayan biri için bu inanılmaz derecede yıkıcı" dedi. Kendini yapay zeka konusunda en hevesli ve iyimser matematikçilerden biri olarak tanımlayan Armstrong bile, "Geceleri uyumak biraz zor" itirafında bulundu ve bir sonraki adımının OpenAI kendilerini geride bırakmadan Codex yardımıyla üzerinde çalıştığı işi bitirmek olduğunu söyledi.

Sıkça Sorulan Sorular​

OpenAI ne kadar matematik sonucu yayınladı?​

OpenAI yaklaşık 400 yapay zeka üretimi sonucu 719 el yazmasına yayarak yayınladı. Çalışmalar kombinatorik, geometri, sayılar teorisi, teorik bilgisayar bilimi, cebir, topoloji, olasılık ve matematiksel fizik gibi birçok alanı kapsıyor ve GitHub'da bir rehberle birlikte sunuldu.

Sonuçların doğrulanma durumu nedir?​

Sonuçlar farklı doğrulama aşamalarında bulunuyor. OpenAI'ın açıklamasına göre 719 el yazmasından yalnızca 300 üst düzey sonuç Lean programlama diliyle formalize edildi, bu oran yaklaşık yüzde 42. Şirket daha fazla formalizasyon ekleyeceğini belirtti, ancak araştırmacılar Lean kodu olsa bile doğrulamanın zaman aldığını ve kalitenin tutarsız olduğunu söylüyor.

Hangi önemli matematik problemlerinde ilerleme iddia edildi?​

Stanford matematikçisi Jared Duker Lichtman'ın aktardığına göre onlarca sonuç arasında Riemann hipotezine doğru ilerleme, Hodge varsayımının özel bir durumu ve dört boyutlu Kakeya varsayımının çözümü bulunuyor. Ayrıca Yang-Mills kütle aralığı problemi gibi Milenyum Ödülü problemlerine yönelik çalışmalar da yer alıyor.

Matematikçiler neden endişeli ve kimler etkilendi?​

Matematikçiler, devasa hacim nedeniyle sonuçları anlamlandırmanın yıllar alacağını, birçok makalenin okunması zor ve atıf açısından zayıf olduğunu belirtiyor. Hibe başvuruları ve araştırma programları bir anda geçersiz kalan araştırmacılar var. Özellikle olasılık, kombinatorik ve teorik bilgisayar bilimi alanları ile genç ve kadrosuz araştırmacıların daha fazla etkilendiği aktarılıyor.

OpenAI ve AGMAI bu süreçte ne önerdi veya ne yaptı?​

Matematik ve Yapay Zeka Danışma Grubu (AGMAI), makalelerin insan tarafından anlaşılır olması, ispatların formalize edilmesi ve model ile komutların açıklanması gerektiğini savundu. OpenAI atölye ve konferansları finanse edeceğini, revizyon protokolleri uygulayacağını ve yayın geçmişini koruyacağını açıkladı; 8 Ekim itibarıyla bir düzineden fazla revizyon ve işaret hatası nedeniyle üç makalenin geri çekilmesi kayıtlara geçti, ancak model ve komutlar açıklanmadı.