AI Model Seçimi Artık Bir Altyapı Kararı: CIO'lar İçin Değişen Denklem

Kurumsal yapay zeka kullanımı üretim ortamlarına taşındıkça, teknoloji liderlerinin karşısına giderek daha karmaşık bir tablo çıkıyor. Tek bir model ve tek bir dağıtım yaklaşımıyla tüm iş yüklerini karşılamak artık gerçekçi değil. Performans, kapasite kullanımı, tahmin edilebilirlik ve maliyet açısından birbirinden farklı gereksinimlere sahip iş yükleri, portföy düzeyinde altyapı kararları almayı zorunlu kılıyor.
Açık modellerin yaygınlaşması bu tabloya daha fazla seçenek eklerken, GPU kapasitesi, altyapı yapılandırması ve servis ortamı konusunda verilmesi gereken kararların sayısını da artırıyor. CIO'ların önündeki asıl soru şu: Gereksiz karmaşıklık yaratmadan her iş yükünü doğru model, dağıtım yaklaşımı ve altyapıyla nasıl eşleştirebilirim?

Tek Dağıtım Modeli Her İş Yüküne Uymuyor​

Yapay zeka portföyleri genişledikçe, hiçbir tek dağıtım modelinin tüm iş yüklerine hizmet edemeyeceği netleşiyor. Token başına ödeme modeli, esnek tüketimin önemli olduğu durumlarda kullanışlı olmayı sürdürüyor. Öte yandan sürekli talep içeren ya da kapasite, gecikme süresi, verim ve maliyet öngörülebilirliği konusunda daha sıkı gereksinimleri olan iş yükleri için ayrılmış kapasite daha anlamlı bir seçenek olabiliyor.
Microsoft Foundry'deki Yönetilen Bilgi İşlem (Managed Compute) bu iki yaklaşım arasındaki dengeyi kurmayı hedefliyor. Yönetilen bir dağıtım seçeneği olarak müşterilere model, hızlandırıcı, kapasite ve çalışma noktası gibi çıkarım performansını ve ekonomisini şekillendiren kararlar üzerinde kontrol tanıyor. Altta yatan servis ortamını ise Microsoft yönetiyor. Müşteriler, iş yükü gereksinimleri değiştikçe Foundry'deki yönetilen bilgi işlemi diğer dağıtım yaklaşımlarıyla birlikte kullanabiliyor.

Ayrılmış Kapasite Maliyet Denklemini Değiştiriyor​

Açık model çıkarımını üretime taşımak hem ekonomiyi hem de teknoloji tercihlerini dönüştürüyor. Ayrılmış kapasite, yalnızca kullanım tabanlı esnek tüketime güvenmek yerine kaynakları beklenen iş yükü gereksinimlerine göre planlamayı gerektiriyor. Bu yaklaşım, ekiplere mevcut kapasite, gecikme süresi ve verim konularında daha net bir planlama zemini sunuyor.
Bütçe sahipleri de altyapı tüketimi ile kapasite, kullanım, performans ve maliyet arasındaki ilişkiyi daha iyi görebiliyor. Yapay zeka kullanımı büyüdükçe bu görünürlük, iş yüklerini yalnızca token veya altyapı fiyatlandırmasıyla değil; kullanım oranı, performans, tahmin edilebilirlik ve maliyet açısından karşılaştırmak için daha sağlam bir zemin oluşturuyor. Ayrılmış kapasitede ekonomi, sağlanan GPU kaynaklarının ne kadar etkin kullanıldığına bağlı: GPU-saat maliyeti, kullanım oranı, verim ve tamamlanan iş miktarı, efektif token veya çıkarım isteği başına maliyeti belirliyor.

Operasyonel Yük Azalıyor, Geliştirmeye Odaklanma Artıyor​

Açık modelleri ayrılmış altyapıda çalıştırmak; çalışma zamanlarını yapılandırmak ve optimize etmek, yazılımı güncel tutmak, güvenlik açıklarını gidermek ve güncellemeleri uygulamak gibi önemli bir operasyonel iş yükü yaratıyor. Yönetilen bir servis ortamı bu yükün büyük bölümünü azaltıyor. Ekipler, performansı ve ekonomiyi etkileyen iş yükü kararları üzerindeki kontrolü elinde tutarken altta yatan altyapıyı yönetmeye daha az zaman harcıyor.

AMD Instinct MI300X ve Büyük Model Desteği​

Farklı modeller altyapıya farklı talepler yöneltiyor; bu farklılıklar doğrudan performansı, GPU gereksinimlerini ve iş yükü ekonomisini etkiliyor. GPU belleği hem model tarafından hem de aynı anda hizmet verilen kullanıcı sayısı tarafından tüketiliyor.
AMD Instinct MI300X, Foundry'deki yönetilen bilgi işlem kapsamında yüksek bellekli bir hızlandırıcı seçeneği sunuyor. GPU başına 192 GB HBM3 yüksek bant genişlikli bellek kapasitesine sahip olan bu hızlandırıcı, sekiz GPU'luk bir dağıtımda yaklaşık 1,5 TB'a ulaşıyor. Bu kapasite sayesinde 320 milyar parametreli Z.ai GLM 5.3 Flash modeli, 512K bağlam penceresiyle Foundry'de yalnızca dört MI300X GPU üzerinde çalıştırılabiliyor. Aynı model için daha az GPU kullanmak, sağlanması gereken altyapıyı ve maliyeti doğrudan düşürüyor. Tüm bu süreç, AMD'nin açık kaynaklı GPU yazılım yığını olan ROCm tarafından destekleniyor.

AT&T'nin OTel2.0 Girişimi: Portföy Kararlarının Pratikte Görünümü​

AT&T'nin telekomünikasyon odaklı yapay zeka girişimi OTel2.0, bu yaklaşımın üretim ölçeğindeki somut bir örneğini sunuyor. Şirket, sektöre özgü büyük veri hacimlerini işlemek ve iş akışının farklı bölümleri için farklı açık modelleri desteklemek amacıyla Foundry'deki yönetilen bilgi işlemi kullandı.
AT&T, Veri Bilimi ve Yapay Zeka Başkan Yardımcısı Mark Austin'in aktardığına göre Foundry Yönetilen Bilgi İşlem, ekiplerin altyapı yönetimiyle uğraşmak yerine OTel2.0'ı ilerletmeye odaklanmasını sağladı. Şirket, yapay zeka iş yüklerini tek bir model veya altyapı yapılandırmasında standartlaştırmak yerine 530 GPU'da birden fazla açık model ve GPU mimarisi kullandı. Bu GPU'ların yaklaşık 430'u AMD Instinct MI300X'ti ve sentetik eğitim verisi üretmek amacıyla yönetilen bilgi işlem üzerinden yaklaşık 1 trilyon token işledi. AT&T, veri üretimi için sınır modelleri yerine açık modelleri tercih ederek onlarca milyon dolar tasarruf ettiğini bildirdi.
Bu örneğin önemi yalnızca dağıtımın ölçeğiyle sınırlı değil. İş yükünün farklı bölümleri için farklı model ve GPU mimarilerinin kullanılmış olması, CIO'ların bugün portföy düzeyinde aldıkları kararları somutlaştırıyor: Farklı model, altyapı ve kapasite kombinasyonları, gerekli performansı en uygun maliyetle nasıl sunabilir?

Sıkça Sorulan Sorular​

Token başına ödeme modeli ile ayrılmış kapasite arasındaki temel fark nedir?​

Token başına ödeme modeli, esnek tüketimin önemli olduğu iş yükleri için uygundur ve altyapı müdahalesini en aza indirir. Ayrılmış kapasite ise güvenilir kapasite ile daha öngörülebilir gecikme süresi ve verim gerektiren iş yükleri için daha anlamlıdır; kapasite, performans ve iş yükü ekonomisi ön plana çıkar.

Microsoft Foundry'deki Yönetilen Bilgi İşlem ne tür kontrol imkânı sunuyor?​

Yönetilen Bilgi İşlem, müşterilere model, hızlandırıcı, kapasite ve çalışma noktası gibi çıkarım performansını ve ekonomisini doğrudan etkileyen kararlar üzerinde kontrol tanırken altta yatan servis ortamını Microsoft yönetiyor. Müşteriler bu seçeneği diğer dağıtım yaklaşımlarıyla birlikte kullanabiliyor.

AMD Instinct MI300X'in büyük modeller açısından önemi nedir?​

AMD Instinct MI300X, GPU başına 192 GB HBM3 bellek sunuyor ve sekiz GPU'luk bir dağıtımda yaklaşık 1,5 TB'a ulaşıyor. Bu yüksek bellek kapasitesi, 320 milyar parametreli Z.ai GLM 5.3 Flash gibi büyük modellerin 512K bağlam penceresiyle yalnızca dört GPU üzerinde çalıştırılmasına olanak tanıyor; bu da daha az altyapı ve daha düşük maliyet anlamına geliyor.

AT&T'nin OTel2.0 girişiminde kaç GPU kullanıldı ve ne kadar tasarruf sağlandı?​

AT&T, OTel2.0 girişiminde toplam 530 GPU kullandı; bunların yaklaşık 430'u AMD Instinct MI300X'ti. Yönetilen bilgi işlem üzerinden yaklaşık 1 trilyon token işlendi. Şirket, sınır modelleri yerine açık modelleri tercih ederek veri üretiminde onlarca milyon dolar tasarruf ettiğini bildirdi.

Açık modelleri ayrılmış altyapıda çalıştırmanın operasyonel zorlukları nelerdir?​

Açık modelleri ayrılmış altyapıda çalıştırmak; çalışma zamanlarını yapılandırmak ve optimize etmek, yazılımı güncel tutmak, güvenlik açıklarını gidermek ve güncellemeleri uygulamak gibi önemli bir operasyonel iş yükü oluşturuyor. Yönetilen bir servis ortamı bu yükün büyük bölümünü azaltarak ekiplerin geliştirme çalışmalarına odaklanmasını sağlıyor.