Değişim sonuçları: Daha fazla model performans kaybetmesine neden oldu
Araştırma, değişimin sonuçlarının birbirinden farklı olduğunu ortaya koydu. Model değiştiren işletmelere ait yanıtların %55’i yeni modelin eskisi kadar iyi ya da daha iyi performans gösterdiğini bildirdi. Diğer %45 ise ya performans düşüşü nedeniyle çevresel uygulamayı yeniden tasarlamak zorunda kaldığını ya da önceki modele geri döndüğünü ifade etti. VentureBeat bu oranların, Eylül 2026’ya kıyasla istatistiksel olarak anlamlı bir değişiklik göstermediğini not etti. Kuruluşlar, en güncel modeli her birkaç ayda bir kullanma isteği taşıdıklarından bu haftalar sürülebilen yeniden mühendislik sürecini tekrar tekrar yaşamak durumunda kalıyor.Modelleri değiştirme nedenleri arasında fiyat da yer alsa da araştırma neden sorduğu açıkça rapor edilmemiştir. Haberin verildiği hafta, Anthropic, Claude Fable 5.2 modelini girdi başına 8 milyon dolar, çıktı başına 40 dolar olmak üzere, yerini değiştirdiği sürümün %20’si daha ucuz olarak tanıttı. Bu fiyat değişimi, Ekim anketinin kapanmasından sonra gerçekleşti. Şirketler, daha uygun fiyatlı modellere istek yönlendirebilir; bu yön için yaygın yöntem, AI Gateway’dir. Adobe, pazarlama ajanını için daha düşük maliyetli bir modelin doğru bağlamı seçmesini, daha sonra talebi büyük bir modele yönlendirmesini kullandığını SaaS Summit’ta anlatan Adobe Kıdemli Başkan Yardımcısı Anjul Bhambhri tarafından tanıttı.
Model değişikliği: PayPal, Box ve T-Mobile yaklaşımı
PayPal, uygulamaları için model değişiminin “çok kez” gerçekleştiğini açıkladı. Global yapay zeka ürünlerinden sorumlu Başkan Yardımcısı Ren Zhang, ticaret ajanlarının küçük ve hızlı modellere geçtiğini, bu küçük modelin özelleştirilmesinin doğruluğu artırdığını ancak müşterilerden gelen tepkinin yetersiz kaldığını söyledi. Bu testler, iç araştırma ortamında gerçekleşti. PayPal, özelleştirmeyi azaltmaya karar verdi; çünkü yeni her model, yeni bir model üzerinde özelleştirme gerektiriyor. Şirket şimdi özelleştirme, hazır model ve hesaplama kaynakları arasında en iyi karışımı arıyor.Box CTO’su Ben Kus, yeni bir modelin yazılımın yeni model üzerinde daha kötü çalışmasının bir nedeni olabileceğini, çünkü mühendislerin başlangıçtaki modele göre uyarladığını söyledi. Box’ın en çok sonuçta değişim yaratacak şey, modeli sarmalayan, talimatlarını besleyen ve çağırmak istediği araçları kontrol eden kod çerçevesi olduğunu belirtti. Kus, şu anki en uç modeller arasındaki farkın önemli olmadığını, en önemli farkın kod çerçevesi ile modelin birlikte seçimiyle olduğunu söyledi. Box, kod çerçevelerini ve modelleri ayrı ayrı değil birlikte deniyor.
T-Mobile, müşteri hizmetleri ajanlarını için en iyi modelleri kullanıyor ve maliyet optimizasyonunu hedeflemiyor. T-Mobile CIO Jeff Simon, ajanlarının hızlı ve doğru yanıt vermesini önemsediğini söyledi. T-Mobile, yapılandırma değişikliklerini gerçek müşteri konuşmaları üzerinde eski ve yeni sürümün aynı anda çalıştırılmasıyla deniyor ve yalnızca yeni sürüm daha iyi performans gösterdiğinde yaygınlaştırıyor. Ayrıca küçük bir model, her sesi ve yazışma oturumunu izleyerek hatalı görünen yanıtları işaret ediyor. T-Mobile, lansman öncesi testlerin her soruyu kapsamadığını, laboratuvarlarda asla görülmedik olağandışı vakaları tespit etmek için izlemeyi sürdüğünü belirtiyor.
Hazırlık adımları: Değerlendirme seti, bilgi katmanı ve gerçek trafik
Databricks ürün yönetimi direktörü Bryan Clark, müşterilerin en uç modelle basit metin diziniyle başlatarak, yanıtı değerlendirme setine kaydetmek için bir akış olduğunu açıklıyor. Müşteriler daha sonra ucuz, açık ağırlıklı modele geçiyor, vektör araması ekliyor ve daha ucuz modelin cevaplarını değerlendirme setiyle karşılaştırıyor. Bu yaklaşım, model değişiminden önce hazırlık olarak öne çıkıyor.JPMorgan Chase, yeni Claude modellerini daha fazla çalışana açmadan önce kendi onay süreçlerinden geçiriyor. Bu kurumsal yönlendirme de model değişimini yavaşlatan bir faktör olarak vurgulandı. Snowflake, üretken kod ajanı CoCo ve iş arkadaşları için asistan CoCo ve CoWork’ten sorumlu ürün başkanı William Allen, 3-4 ay önceki varsayımların artık geçerli olmayabileceğini ve alım maliyetinin bir yanılgıya yol açtığını söyledi. Allen’a göre işletmeler, değişime hazırlık için dört adım izlemeli: gerçek istek ve doğrulardan değerlendirme seti oluşturmak, modeli kendi kod çerçevesinde denemek, iş bilgilerini kontrol edilen bir katmanda tutmak, ve eski-yeni sürümleri gerçek trafikte karşılaştırıp değişimden sonra izlemeye devam etmek.
Üretken yapay zeka sektörü hâlen token başına maliyeti ölçüyor. WEKA CIO Val Bercovici, sektörün “iyi sonuç başına maliyet” ölçümüne geçmesi gerektiğini, hâlen token faturalandırmakta takıldığını belirtti. Tetrate’nin kurucu ortağı Varun Talwar, bazı müşterilerin hangi modelin en iyi olduğunu artık umursamadığını, otomatik model seçiminin varsayılan yapılmadan önce ekibin onayını beklediğini söyledi.

Siber Güvenlik
Siber Güvenlik
Siber Güvenlik
Yorumlar (0)
Yorum yapmak için giriş yapmalısınız.