Nvidia ve Oracle, Vera Rubin'i buluta taşıdı: Kurumsal GPU verimsizliğine çözüm mü?

Nvidia ve Oracle, yapay zeka altyapısı ortaklıklarını genişleterek Vera Rubin NVL72 sistemlerini ve bağımsız Vera CPU'larını Oracle Cloud Infrastructure (OCI) üzerinde genel kullanıma sundu. 27 Ekim'de duyurulan bu adımla birlikte şirketler, Süper Kümelerini (Supercluster) çok gigavat ölçeğine taşıma planlarını da açıkladı. Duyuru iki farklı talebi karşılamayı amaçlıyor: ileri modellerin eğitimi ve çalıştırılması için gereken hesaplama gücü ile yapay zeka ajanlarının model çağrıları arasında kod çalıştırması, bilgi alması ve yazılım araçlarını kullanması için ihtiyaç duyduğu CPU kapasitesi.

Kurumsal GPU Kullanımında Dikkat Çeken Tablo​

Ortaklığın zamanlaması, VentureBeat'in bünyesindeki araştırma birimi VentureBeat Intelligence'ın bulgularıyla örtüşüyor. Temmuz, Ağustos ve Eylül aylarında gerçekleştirilen aylık Pulse anketleri, 218 katılımcının yüzde 79'unun GPU kullanım oranını yüzde elli veya altında bildirdiğini ortaya koydu. Bu grubun yüzde 70'i ise platform değişikliği planladığını belirtiyor. Araştırma, en az 100 çalışanı bulunan kuruluşları kapsıyor; müşterileri adına yanıt veren danışmanlar da dahil. Bulgular öz bildirime dayalı olup donanım denetiminden geçirilmemiş veriler.
Nvidia ve Oracle, CPU ile GPU kaynaklarının bağımsız olarak ölçeklendirilebilmesinin atıl kapasiteyi azaltabileceğini öne sürüyor. Ancak bu çerçevede kurumsal alıcılar için asıl soru şu: Farklı bir altyapı dengesi, ödenen kapasite başına daha fazla işe yarar çıktı üretebilir mi?

Vera CPU'nun Ajanlı Yapay Zeka İş Yüklerindeki Rolü​

Nvidia, Vera'yı model yürütmesinin çevresindeki işler için tasarlanmış bir işlemci olarak tanımlıyor: ajanları koordine etmek, kodu izole ortamlarda çalıştırmak, veri işlemek ve pekiştirmeli öğrenmeyi desteklemek. Bir model hangi eylemi gerçekleştireceğine karar verebilir; ancak o eylemi yürütmek ve sonucu geri döndürmek başka yazılımlara düşüyor. Bu süreç bir darboğaz hâline geldiğinde yalnızca model performansını artırmak, ajanın bütünüyle daha hızlı tamamlanmasını sağlamıyor.
Oracle, Vera'nın bare-metal sunucular ve esnek sanal makineler aracılığıyla erişilebilir olduğunu açıkladı. Bağımsız sunum, müşterilerin CPU hizmetlerini GPU altyapısından ayrı biçimde dağıtmasına olanak tanıyor. Oracle ayrıca Nvidia'nın, Vera'nın önde gelen x86 işlemcilere kıyasla ajan odaklı CPU iş yüklerinde yüzde seksen oranında daha hızlı performans sergilediğine dair iddiasına da yer verdi. Şirket, bu sonuçların OCI örneklerinin testlerinden değil Nvidia platform kıyaslama testlerinden elde edildiğini açıkça belirtti. Dolayısıyla bu rakamın gerçek uygulama ortamında doğrulanmış bir iyileşme olarak değil, satıcı kıyaslaması olarak değerlendirilmesi gerekiyor.

OpenAI Örneği ve Farklılaşan Müşteri Profilleri​

Ortak duyuruda en güçlü müşteri örneği olarak OpenAI öne çıkıyor. OpenAI'nin Hesaplama Baş Teknoloji Sorumlusu Uday Ruddarraju, ajan korumalı alan iş yüklerine atıfta bulunarak "Vera'yı bu iş yüklerini ölçekte desteklemek amacıyla OCI'da üretime alıyoruz" ifadesini kullandı. Bu örnek, temel model şirketleri için Vera'nın rolünü somut biçimde ortaya koyuyor.
Ancak potansiyel müşteri tabanı, kendi sınır modellerini eğiten kuruluşların çok ötesine geçiyor. Oracle, CPU platformunun kullanım alanları arasında bilgi alma, analitik, ajan koordinasyonu ve GPU filo yönetimini sayıyor. Bu iş yükleri kurumsal yapay zeka dağıtımlarında da karşılaşılabiliyor. Öte yandan büyük bir şirketin yapay zeka kullanımı ağırlıklı olarak harici barındırılan modellere yapılan çağrılardan oluşuyorsa bu şirketin kendi bünyesinde büyük bir GPU tahsisi edinmesi için fazla bir neden bulunmuyor.

Yol Haritasında Daha Küçük Yapılandırma da Var​

Oracle, mevcut NVL72 sistemlerinin yanı sıra Intel Xeon işlemciler kullanan sekiz GPU'lu Rubin NVL8 yapılandırmasını da planladığını açıkladı. Bu yapılandırma, eğitim, ince ayar ve çıkarım işlemlerini desteklerken x86 uygulamalarıyla uyumluluğu korumayı hedefliyor. Duyuruda NVL8'in genel kullanıma açık değil, planlanmış bir ürün olduğu vurgulanıyor.
Oracle ayrıca altyapısının eğitim ve çıkarım iş yükleri arasında geçiş yapabildiğini ve ardışık Nvidia platformlarını desteklediğini belirtiyor. Çok gigavat ölçeğindeki genişleme ise sağlayıcıların altyapı hedeflerini yansıtıyor; bireysel bir kurumsal dağıtım için asgari gereksinimi ifade etmiyor.

Satın Alma Kararı Öncesinde Kurumların Yanıtlaması Gereken Sorular​

GPU'ları sürekli olarak CPU işinin bitmesini bekleyen bir ekip için Vera, test edilmeye değer somut bir öneri sunuyor. Mevcut GPU'larını dolduracak yeterli talep bulunmayan bir ekip içinse öncelik farklı: hangi iş yüklerinin kullanılacağını belirlemek, kapasite taahhütlerini gözden geçirmek ve yeni bir platformun ekonomiyi gerçekten iyileştirip iyileştirmediğini ortaya koymak gerekiyor.
Geçiş değerlendiren bir kurumun yapması gereken temsili test, aynı ajan iş akışını mevcut altyapısında ve önerilen Vera yapılandırmasında çalıştırmaktır. Bu testte başarılı görev tamamlama, iş akışı genelindeki gecikmeler, CPU ve GPU tüketimi ile model API ücretleri dahil toplam maliyet ölçülmeli. Duyuruların, müşterilerin beklenen tasarruflarını hesaplamasına yetecek iş yüküne özgü fiyatlandırma ve performans kanıtı sunmadığı da göz önünde bulundurulmalı. Bölgesel erişim konusunda da dikkatli olmak gerekiyor: Oracle'ın Vera CPU duyurusuna göre kullanılabilirlik bu çeyrek içinde seçili bölgelere genişleyecek.

Sıkça Sorulan Sorular​

Vera Rubin NVL72 ve bağımsız Vera CPU'su ne zaman kullanıma sunuldu?​

Nvidia ve Oracle, Vera Rubin NVL72 sistemlerinin ve bağımsız Vera CPU'larının Oracle Cloud Infrastructure üzerinde genel kullanıma açıldığını 27 Ekim'de duyurdu.

Kurumsal GPU kullanım oranları ne düzeyde seyrediyor?​

VentureBeat Intelligence'ın Temmuz, Ağustos ve Eylül aylarına ait Pulse anketleri, 218 katılımcının yüzde 79'unun GPU kullanım oranını yüzde elli veya altında bildirdiğini ortaya koydu. Bu bulgular öz bildirime dayalı olup donanım denetiminden geçirilmemiş veriler.

Vera CPU, yapay zeka ajanları için neden önem taşıyor?​

Nvidia, Vera'yı ajan koordinasyonu, izole ortamlarda kod çalıştırma, veri işleme ve pekiştirmeli öğrenme desteği gibi model yürütmesinin çevresindeki işler için tasarlanmış bir işlemci olarak tanımlıyor. Bu süreçler darboğaz oluşturduğunda yalnızca model performansını artırmak, ajanın bütününün daha hızlı tamamlanmasını sağlamıyor.

Nvidia'nın yüzde seksen daha hızlı performans iddiası ne anlama geliyor?​

Oracle, Nvidia'nın Vera'nın önde gelen x86 işlemcilere kıyasla ajan odaklı CPU iş yüklerinde yüzde seksen oranında daha hızlı performans sergilediğini öne sürdüğünü aktarıyor. Ancak bu sonuçların OCI örneklerinin testlerinden değil Nvidia platform kıyaslama testlerinden elde edildiğini de açıkça belirtiyor; dolayısıyla bu rakam gerçek uygulama ortamında doğrulanmış bir iyileşme olarak değil, satıcı kıyaslaması olarak değerlendirilmeli.

Sekiz GPU'lu Rubin NVL8 yapılandırması şu an kullanılabilir mi?​

Hayır. Oracle, Intel Xeon işlemciler kullanan NVL8 yapılandırmasını yol haritasında yer alan bir ürün olarak duyurdu; duyuruda bu yapılandırmanın planlanmış olduğu, genel kullanıma açılmadığı vurgulanıyor.