VentureBeat Intelligence tarafından Eylül ayında gerçekleştirilen VB Pulse anketi, üretim ortamında yapay zeka kullanan şirketlerde dikkat çekici bir tabloyu ortaya koydu. Ankete katılan ve GPU kullanım oranı bildiren 68 şirketten 55'i, yani yüzde 81'i, ortalama GPU kullanımının yüzde 50 veya altında olduğunu belirtti. Aynı grubun yüzde 71'i ise buna rağmen önümüzdeki 12 ay içinde yeni, ek veya mevcut altyapının yerine geçecek bir yapay zeka altyapı platformunu benimsemeyi planlıyor. Bulgular, Nvidia Üst Yöneticisi Jensen Huang'ın şirketlere kendi yapay zeka fabrikalarını kurma çağrısı yaptığı bir dönemde, alıcıların yeni platformlardan ne beklediği sorusunu gündeme getiriyor.
Anket, 100 ve üzeri çalışanı olan kuruluşlarda görev yapan 102 nitelikli katılımcıyla yapıldı. Danışmanlar ana müşterileri adına yanıt verdi. Sonuçlar, kendi beyanına dayalı ve öz seçime dayalı bir grubun yanıtlarını yansıtıyor. GPU kullanımına ilişkin bulgu, üretimde olan ve kullanım oranı bildiren 68 katılımcıyı kapsıyor. Daha yüksek kullanım bildiren şirket sayısı 13 olarak kaydedildi.
Memnuniyet skorları ise operasyonel açıdan olumlu bir tablo çiziyor. Birincil platformu üretimde olan katılımcılarda genel memnuniyet ortalaması 5 üzerinden 4,0, uygulama kolaylığı 3,9 ve fiyat-performans değeri 3,6 olarak ölçüldü. Bu skorlar, bir platformun operasyonel olarak yeterli bulunup olumlu değerlendirme alabileceğini, ancak sağladığı işin toplam maliyetine değip değmediği sorusunun yanıtsız kalabileceğini gösteriyor.
Yapay zeka fabrikası yaklaşımı yalnızca bilgi işlem kapasitesiyle sınırlı kalmıyor. HPE, yönetilen API'ler ve Model Context Protocol (MCP) entegrasyonunu vurgularken, VAST, Nvidia ile birlikte temel bilgi işlem ölçeklenirken aracı durumunu, veri erişimini ve denetim izlerini korumak üzere tasarlanan Agent Sandbox Foundation Stack'i duyurdu. Etkinlik öncesinde Nebius ile yapılan görüşmede ise şirketin güvenlik ekibi, işleme sırasında verileri ve model ağırlıklarını korumak ve müşterilerin şifreleme anahtarlarını serbest bırakmadan önce ortamı doğrulamasına olanak tanımak için GPU gizli bilgi işlem yaklaşımını öne çıkardı.
Kaynak metindeki analist değerlendirmesine göre, entegrasyon ve güvenlik altyapı kararlarında giderek daha önemli hale geliyor. Bilgi işlem kapasitesi temin etmek tek bir karar iken, model yeteneğini faydalı işe dönüştüren bir mimari kurmak birden fazla karar gerektiriyor. Aracılar daha uzun görevler üstlendikçe, kurumsal bilgiye nasıl eriştikleri, görev ilerlemesini nasıl korudukları, farklı modelleri nasıl kullandıkları ve bir sorun olduğunda nasıl toparlandıkları da bu kararlar arasında yer alıyor.
Eylül ayı katılımcılarına altyapı satın alma hususları sorulduğunda, mevcut bulut ve veri yığınıyla entegrasyon yüzde 48 ile ilk sırada yer aldı. Performans yüzde 42, GPU bulunabilirliği ise yüzde 35 oranında seçildi. Entegrasyon ile performans arasındaki fark istatistiksel olarak anlamlı bulunmadı. Kaynak metne göre mimari açıdan asıl soru, belirli bir iş akışının nerede zaman kaybettiği, işi nerede tekrarladığı veya sonucu iyileştirmeden kaynak tükettiği. Daha yetenekli bir model yardımcı olabilir, ancak daha iyi bir bilgi yolu veya bağlam katmanı, farklı bir sunum yapılandırması ya da modeller ve araçlar arasında daha net bir iş bölümü de çözüm olabilir.
Bu ayrımda kurumsal bilginin güncel, ilgili ve görevin izinleri dahilinde erişilebilir olması gerekiyor. Görev belleği, geçici bir sonucun yanlışlıkla yetkili bir kurumsal gerçeğe dönüşmesine izin vermeden faydalı ilerlemeyi korumalı. Çıkarım belleği teknikleri ise iyileştirmeyi amaçladıkları iş yüküne göre değerlendirilmeli. Anthropic'in bağlam mühendisliği rehberi, uzun süreli çalışmalarda bilgiyi korumak için bağlam penceresi dışında saklanan yapılandırılmış notları bir yöntem olarak tanımlıyor. vLLM'in otomatik önek önbellekleme özelliği ise farklı bir katmana hitap ediyor ve istekler ortak bir istem öneki paylaştığında önbelleğe alınmış hesaplamayı yeniden kullanarak istem işleme yükünü azaltıyor. Bu yöntemin yeni token üretme süresini değil, istem işleme işini azalttığı belirtiliyor.
Eylül anketi çıkarım belleği katmanını ölçtü. Nvidia ve Dell, kullanım veya değerlendirme için en sık seçilen seçenekler oldu ve sırasıyla yüzde 41 ve yüzde 39 oranında tercih edildi. Bu fark istatistiksel olarak anlamlı bulunmadı. Açık kaynak KV önbellek araçları ve model düzeyinde verimlilik teknikleri ise katılımcıların yüzde 21'i tarafından kullanım veya değerlendirme için seçildi. Katılımcıların yüzde 16'sı ise çıkarım belleği sınırlarını ele almadığını veya bu konudan haberdar olmadığını bildirdi. Kaynak metindeki analist beklentisine göre, bu bellek biçimleri arasındaki ilişki daha önemli bir mimari karar haline gelecek. Ekiplerin, aracının neyi saklayacağını, neyi yeniden alacağını, neyi paylaşabileceğini ve bir sonucun ne zaman kuruluşun kalıcı kaydının parçası haline geleceğini belirlemesi gerekecek.
Maliyet ölçütü olarak kaynak metin, aracı uygulamalar için başarıyla tamamlanan görev başına maliyetin merkezi bir işletim ölçüsü olmasını öneriyor. Bu hesaplamanın çıkarım, geri getirme, depolama, tekrarlanan denemeler ve insan incelemesini içermesi, finans biriminin ise bu maliyetleri üzerinde anlaşılan bir temel değere karşı sağlanan değerle karşılaştırması gerektiği belirtiliyor. Tamamlanan bir görevin kalite standardına ihtiyacı olduğu, yanlış kapatılan bir destek kaydının başarı sayılmaması ve bir kod değişikliğini düzeltme maliyetinin tamamlanma maliyetine dahil edilmesi gerektiği vurgulanıyor.
Token fiyatı bu değerlendirmede girdilerden biri. Eylül raporunda katılımcıların yüzde 23'ü milyon token başına maliyeti bir satın alma faktörü olarak seçti. Bu oran Ağustos ayında yüzde 11 idi ve iki aylık örneklem arasındaki fark istatistiksel olarak anlamlı bulundu. Ancak bir görevin nihai maliyeti token tüketimine, yeniden denemelere, araç kullanımına ve insan müdahalesine de bağlı. Bu nedenle model seçiminin iş akışı düzeyinde ve başarıyla tamamlama paydasıyla değerlendirilmesi gerektiği belirtiliyor.
Kıdem düzeyine göre sonuçlar, altyapı tartışmalarının farklı önceliklerle başladığını gösteriyor. Başkan yardımcıları ve direktörler arasında toplam sahip olma maliyetini bir satın alma faktörü olarak seçenlerin oranı yüzde 52 iken, bireysel katılımcılarda bu oran yüzde 4 oldu. Bu fark, küçük bağımsız gruplar için yapılan testte istatistiksel olarak anlamlı bulundu. Bireysel katılımcılar en sık entegrasyonu seçti ve bu oran yüzde 58 olarak ölçüldü. Kıdem karşılaştırması 23 başkan yardımcısı ve direktör ile 26 bireysel katılımcıya dayanıyor. Kaynak metne göre liderler ve uygulayıcıların ekonomik hedefleri teknik kararlarla bağlaması gerekiyor. Başarıyla tamamlanan görev başına maliyet bu bağlantıyı sağlayabilir ve ekiplerin geri getirme, model seçimi, önbellekleme veya görev durumu yönetimindeki değişikliklerin maliyeti haklı çıkarıp çıkarmadığını incelemesine olanak tanır.
Kaynak metin, bir sonraki altyapı kararının belirli bir aracı iş akışıyla ve performansı neyin sınırladığına dair net bir anlayışla başlaması gerektiğini belirtiyor. Uygulama veya ürün sahibinin başarılı tamamlamayı ve kabul edilebilir insan müdahalesini tanımlaması, veri ekibinin yetkili bilgileri ve erişim kurallarını belirlemesi, platform mühendisliği ekibinin gecikme, kullanım, önbellekleme davranışı ve toplam işletme maliyetini ölçmek için gözlemlenebilirliği ele alması ve finans biriminin temel değer üzerinde anlaşarak elde edilen faydayı doğrulaması öneriliyor. Ardından mimarinin bir parçasının değiştirilip görev başına maliyetteki değişimin ölçülmesi gerektiği ifade ediliyor. VentureBeat'in Agentic Infrastructure Stack Summit etkinliğinin 28 Ekim'de San Francisco'da düzenleneceği ve çıkarım ekonomisinin ele alınacağı da kaynak metinde yer alıyor.
Anket, 100 ve üzeri çalışanı olan kuruluşlarda görev yapan 102 nitelikli katılımcıyla yapıldı. Danışmanlar ana müşterileri adına yanıt verdi. Sonuçlar, kendi beyanına dayalı ve öz seçime dayalı bir grubun yanıtlarını yansıtıyor. GPU kullanımına ilişkin bulgu, üretimde olan ve kullanım oranı bildiren 68 katılımcıyı kapsıyor. Daha yüksek kullanım bildiren şirket sayısı 13 olarak kaydedildi.
Anket Ne Gösteriyor: Düşük Kullanıma Rağmen Yeni Yatırım Planı
Anketin geneline bakıldığında, 102 katılımcının yüzde 63'ü bir yıl içinde yeni, ek veya yenileme amaçlı bir platform planladığını bildirdi. Bu oran, düşük GPU kullanımına rağmen yatırım iştahının sürdüğünü gösteriyor. Kaynak metne göre, mevcut platformu değiştirmek zamanlama, entegrasyon veya mevcut iş yükünün ekonomisini iyileştirmeyi hedefleyebilir. Yeni bir platform ise mevcut ortamın yeterince iyi karşılayamadığı işleri desteklemeyi amaçlayabilir.Memnuniyet skorları ise operasyonel açıdan olumlu bir tablo çiziyor. Birincil platformu üretimde olan katılımcılarda genel memnuniyet ortalaması 5 üzerinden 4,0, uygulama kolaylığı 3,9 ve fiyat-performans değeri 3,6 olarak ölçüldü. Bu skorlar, bir platformun operasyonel olarak yeterli bulunup olumlu değerlendirme alabileceğini, ancak sağladığı işin toplam maliyetine değip değmediği sorusunun yanıtsız kalabileceğini gösteriyor.
Nvidia'nın Yapay Zeka Fabrikası Çağrısı ve Ekosistem Hamleleri
Bulgular, Nvidia Üst Yöneticisi Jensen Huang'ın 21 Ekim'de Berlin'de düzenlenen GTC etkinliğindeki açılış konuşmasıyla aynı döneme denk geliyor. Huang konuşmasında, "Bu yapay zeka ekonomisinin bir parçası olmak için sadece yapay zekayı tüketen değil, yapay zekayı üreten olmak istiyorsunuz" ifadesini kullandı.Yapay zeka fabrikası yaklaşımı yalnızca bilgi işlem kapasitesiyle sınırlı kalmıyor. HPE, yönetilen API'ler ve Model Context Protocol (MCP) entegrasyonunu vurgularken, VAST, Nvidia ile birlikte temel bilgi işlem ölçeklenirken aracı durumunu, veri erişimini ve denetim izlerini korumak üzere tasarlanan Agent Sandbox Foundation Stack'i duyurdu. Etkinlik öncesinde Nebius ile yapılan görüşmede ise şirketin güvenlik ekibi, işleme sırasında verileri ve model ağırlıklarını korumak ve müşterilerin şifreleme anahtarlarını serbest bırakmadan önce ortamı doğrulamasına olanak tanımak için GPU gizli bilgi işlem yaklaşımını öne çıkardı.
Kaynak metindeki analist değerlendirmesine göre, entegrasyon ve güvenlik altyapı kararlarında giderek daha önemli hale geliyor. Bilgi işlem kapasitesi temin etmek tek bir karar iken, model yeteneğini faydalı işe dönüştüren bir mimari kurmak birden fazla karar gerektiriyor. Aracılar daha uzun görevler üstlendikçe, kurumsal bilgiye nasıl eriştikleri, görev ilerlemesini nasıl korudukları, farklı modelleri nasıl kullandıkları ve bir sorun olduğunda nasıl toparlandıkları da bu kararlar arasında yer alıyor.
Satın Alma Kriterleri ve Finans Onaylı Getiri Eksikliği
Anket, bir sonraki satın alma kararının arkasındaki kanıt eksikliğine de işaret ediyor. Katılımcıların yalnızca yüzde 10'u finans birimi tarafından incelenip onaylanmış bir altyapı yatırım getirisi rakamı bildirdi. Yeni platform planlayanlar arasında bu rakama sahip olmayanların oranı yüzde 91 oldu. Platform değiştirmeyi planlamayan katılımcılarda da finans onaylı getiri rakamına sahip olmayanların oranı yüzde 89 olarak ölçüldü ve iki grup arasındaki fark istatistiksel olarak anlamlı bulunmadı. Bu durum, şirketlerin mevcut yapay zeka altyapılarının getirisi finans tarafından doğrulanmadan bir sonraki platform kararını aldığını gösteriyor.Eylül ayı katılımcılarına altyapı satın alma hususları sorulduğunda, mevcut bulut ve veri yığınıyla entegrasyon yüzde 48 ile ilk sırada yer aldı. Performans yüzde 42, GPU bulunabilirliği ise yüzde 35 oranında seçildi. Entegrasyon ile performans arasındaki fark istatistiksel olarak anlamlı bulunmadı. Kaynak metne göre mimari açıdan asıl soru, belirli bir iş akışının nerede zaman kaybettiği, işi nerede tekrarladığı veya sonucu iyileştirmeden kaynak tükettiği. Daha yetenekli bir model yardımcı olabilir, ancak daha iyi bir bilgi yolu veya bağlam katmanı, farklı bir sunum yapılandırması ya da modeller ve araçlar arasında daha net bir iş bölümü de çözüm olabilir.
Bellek Mimarisi ve Görev Başına Maliyet Yaklaşımı
Kaynak metin, bellek kavramının üç bağlantılı tasarım kararına işaret ettiğini belirtiyor. Kurumsal bellek, politikalar, kayıtlar, işletim prosedürleri ve geçmiş kararlar gibi kuruluşun kalıcı bilgisini ifade ediyor. Aracı görev belleği, bir görevi sürdürmek için gereken durumu, yani neler olduğunu, nelerin kaldığını ve önceki eylemlerin ne ürettiğini kapsıyor. Çıkarım belleği ise model sunumu sırasında kullanılan kaynakları ve önbelleğe alınmış hesaplamayı tanımlıyor.Bu ayrımda kurumsal bilginin güncel, ilgili ve görevin izinleri dahilinde erişilebilir olması gerekiyor. Görev belleği, geçici bir sonucun yanlışlıkla yetkili bir kurumsal gerçeğe dönüşmesine izin vermeden faydalı ilerlemeyi korumalı. Çıkarım belleği teknikleri ise iyileştirmeyi amaçladıkları iş yüküne göre değerlendirilmeli. Anthropic'in bağlam mühendisliği rehberi, uzun süreli çalışmalarda bilgiyi korumak için bağlam penceresi dışında saklanan yapılandırılmış notları bir yöntem olarak tanımlıyor. vLLM'in otomatik önek önbellekleme özelliği ise farklı bir katmana hitap ediyor ve istekler ortak bir istem öneki paylaştığında önbelleğe alınmış hesaplamayı yeniden kullanarak istem işleme yükünü azaltıyor. Bu yöntemin yeni token üretme süresini değil, istem işleme işini azalttığı belirtiliyor.
Eylül anketi çıkarım belleği katmanını ölçtü. Nvidia ve Dell, kullanım veya değerlendirme için en sık seçilen seçenekler oldu ve sırasıyla yüzde 41 ve yüzde 39 oranında tercih edildi. Bu fark istatistiksel olarak anlamlı bulunmadı. Açık kaynak KV önbellek araçları ve model düzeyinde verimlilik teknikleri ise katılımcıların yüzde 21'i tarafından kullanım veya değerlendirme için seçildi. Katılımcıların yüzde 16'sı ise çıkarım belleği sınırlarını ele almadığını veya bu konudan haberdar olmadığını bildirdi. Kaynak metindeki analist beklentisine göre, bu bellek biçimleri arasındaki ilişki daha önemli bir mimari karar haline gelecek. Ekiplerin, aracının neyi saklayacağını, neyi yeniden alacağını, neyi paylaşabileceğini ve bir sonucun ne zaman kuruluşun kalıcı kaydının parçası haline geleceğini belirlemesi gerekecek.
Maliyet ölçütü olarak kaynak metin, aracı uygulamalar için başarıyla tamamlanan görev başına maliyetin merkezi bir işletim ölçüsü olmasını öneriyor. Bu hesaplamanın çıkarım, geri getirme, depolama, tekrarlanan denemeler ve insan incelemesini içermesi, finans biriminin ise bu maliyetleri üzerinde anlaşılan bir temel değere karşı sağlanan değerle karşılaştırması gerektiği belirtiliyor. Tamamlanan bir görevin kalite standardına ihtiyacı olduğu, yanlış kapatılan bir destek kaydının başarı sayılmaması ve bir kod değişikliğini düzeltme maliyetinin tamamlanma maliyetine dahil edilmesi gerektiği vurgulanıyor.
Küçük Modeller, Token Maliyeti ve Liderlerle Uygulayıcılar Arasındaki Fark
Kaynak metindeki analist görüşüne göre küçük dil modelleri kurumsal yapay zekanın uzun kuyruğunu oluşturacak. Değerleri nerede çalıştıklarına, hangi görevleri yerine getirdiklerine ve kurumsal bağlam, diğer modeller ve insanlarla nasıl çalıştıklarına bağlı olacak. Sınırlı bir görev için daha küçük bir model yeterli olabilirken, daha zorlu bir adım başka bir model veya insan yargısı gerektirebilir. Sistemin bu yolu seçmek için kriterlere ve ortaya çıkan yapılandırmanın gerekli kalite ve maliyeti karşıladığına dair kanıta ihtiyacı bulunuyor. Bu değerlendirmenin yazılım geliştirme yaşam döngüsüne dahil edilmesi, model seçimi, bilgi geri getirme, görev durumu yönetimi ve yükseltme süreçlerinin temsili işlere karşı birlikte test edilmesi ve bir bileşen değiştiğinde tekrarlanması gerektiği ifade ediliyor.Token fiyatı bu değerlendirmede girdilerden biri. Eylül raporunda katılımcıların yüzde 23'ü milyon token başına maliyeti bir satın alma faktörü olarak seçti. Bu oran Ağustos ayında yüzde 11 idi ve iki aylık örneklem arasındaki fark istatistiksel olarak anlamlı bulundu. Ancak bir görevin nihai maliyeti token tüketimine, yeniden denemelere, araç kullanımına ve insan müdahalesine de bağlı. Bu nedenle model seçiminin iş akışı düzeyinde ve başarıyla tamamlama paydasıyla değerlendirilmesi gerektiği belirtiliyor.
Kıdem düzeyine göre sonuçlar, altyapı tartışmalarının farklı önceliklerle başladığını gösteriyor. Başkan yardımcıları ve direktörler arasında toplam sahip olma maliyetini bir satın alma faktörü olarak seçenlerin oranı yüzde 52 iken, bireysel katılımcılarda bu oran yüzde 4 oldu. Bu fark, küçük bağımsız gruplar için yapılan testte istatistiksel olarak anlamlı bulundu. Bireysel katılımcılar en sık entegrasyonu seçti ve bu oran yüzde 58 olarak ölçüldü. Kıdem karşılaştırması 23 başkan yardımcısı ve direktör ile 26 bireysel katılımcıya dayanıyor. Kaynak metne göre liderler ve uygulayıcıların ekonomik hedefleri teknik kararlarla bağlaması gerekiyor. Başarıyla tamamlanan görev başına maliyet bu bağlantıyı sağlayabilir ve ekiplerin geri getirme, model seçimi, önbellekleme veya görev durumu yönetimindeki değişikliklerin maliyeti haklı çıkarıp çıkarmadığını incelemesine olanak tanır.
Kaynak metin, bir sonraki altyapı kararının belirli bir aracı iş akışıyla ve performansı neyin sınırladığına dair net bir anlayışla başlaması gerektiğini belirtiyor. Uygulama veya ürün sahibinin başarılı tamamlamayı ve kabul edilebilir insan müdahalesini tanımlaması, veri ekibinin yetkili bilgileri ve erişim kurallarını belirlemesi, platform mühendisliği ekibinin gecikme, kullanım, önbellekleme davranışı ve toplam işletme maliyetini ölçmek için gözlemlenebilirliği ele alması ve finans biriminin temel değer üzerinde anlaşarak elde edilen faydayı doğrulaması öneriliyor. Ardından mimarinin bir parçasının değiştirilip görev başına maliyetteki değişimin ölçülmesi gerektiği ifade ediliyor. VentureBeat'in Agentic Infrastructure Stack Summit etkinliğinin 28 Ekim'de San Francisco'da düzenleneceği ve çıkarım ekonomisinin ele alınacağı da kaynak metinde yer alıyor.
Siber Güvenlik
Siber Güvenlik
Siber Güvenlik
Yorumlar (0)
Yorum yapmak için giriş yapmalısınız.