Uber'in Agustus ayında yayımladığı mühendislik yazısına göre, şirketin ajantik ürünlerindeki haftalık istek sayısı Şubat'tan Ağustos'a 9,4 kat arttı. 28 Ekim'de VentureBeat'in Agentic Infrastructure Stack Summit'inde konuşan Uber ayrıcalıklı mühendisi Uday Kiran Medisetty, ajantik istekler artmaya devam ederken toplam yapay zeka harcamasının Nisan ayından bu yana kabaca sabit kaldığını söyledi. Ayarları yöneten AIFX adlı bir sarmalayıcı, kodlama araçlarını kurup yapılandırıyor.
Uber'in her mühendis için belirlediği dört varsayılan
Uber ayarlarını çalışan grupları arasında A/B testleriyle deniyor. Medisetty, zirve dinleyicilerine şunları söyledi: "Yönetilen ayarlarla A/B testi yapabildiğimiz için bu ayarlar üzerinde deney yapabiliyoruz; böylece mühendislerin bunların hepsini düşünmesine gerek kalmıyor ve onlara aynı varsayılanları veriyoruz." Şirketin farklı gruplar için "girdi ve çıktı metriklerini" kontrol ettiğini ekledi.Medisetty, etkileşimli oturumları bir ajanın çalıştırılmasının en verimsiz yolu olarak niteledi ve bu işin bir kısmının, görevlere göre model seçilebilen yönetilen ajanvasına taşınmak istendiğini belirtti. Şirketin maliyeti kontrol etmek için kullandığı dört ayar şöyle:
- 400 bin token'da otomatik sıkıştırma: Ajan her istekte bağlamının tamamını modele geri gönderiyor; bağlam büyüdükçe her adım pahalılaşıyor. 700-800 bin token'ın üzerinde önbellek ıskalamaları ve istek başına girdi token'ları "çok pahalıya mal oluyor" diyen Medisetty, 400 bini "iyi bir orta denge" olarak tanımladı. Sıkıştırma, önceki konuşmayı bir özete indirerek oturumun sürmesini sağlıyor.
- Çaba düzeyi orta: Çaba ayarı, modelin yanıt vermeden önce ne kadar akıl yürütme yapacağını kontrol ediyor; daha fazla akıl yürütme daha fazla token demek. Medisetty, son aylarda çıkan modellerin "orta çaba düzeyinde çok daha iyi performans gösterdiğini" ve yüksek düzeyde "bazı bozulma" yaşadığını söyledi; ancak hangi modeller ve görevlerin karşılaştırıldığını açıklamadı.
- Önbellek süreleri: Ana ajanda (orchestrator) bir saat, alt ajandalarda beş dakika önbellek tutuluyor. Önbelleğe alınan metni yeniden kullanmak, yeniden işlemekten ucuz; ama uzun ömürlü önbellek yazımı daha maliyetli. Mühendisler ana ajandanın beş dakikadan uzun süre uzağında kalabildiği için kısa önbellek süresi doluyor ve sonraki istek her şeyi tam fiyatla yeniden yüklüyor. Alt ajanslar görevlerini çabuk bitirdiği için beş dakika yeterli. Uber, önbellekten karşılanan istek oranını ölçüyor ve bu süreleri bu oranı artıracak biçimde ayarlıyor.
- Başlangıçta MCP araç tanımı yok: Uber MCP sunucuları işletmeye devam ediyor, ancak ajanlar bunlara merkezi MCP ağ geçidine bağlı komut satırı araçları üzerinden erişiyor. Doğrudan MCP entegrasyonlarında 100'den fazla aracın açıklamaları, mühendis tek kelime yazmadan önce 50-70 bin token yer kaplayabiliyor. Uber'de bunun yerine ajanlar ihtiyaç duydukça tek tek komut çağırıyor.
Daha büyük bağlam penceresi her zaman daha iyi değil
Uber'in 400 bin token üst sınırını maliyet çerçevesinde açıklamasına karşılık, aynı zirvede konuşan iki isim, bağlam miktarının ajanın çalışma kalitesini de değiştirdiğini söyledi. T-Mobile, bir ajana çok büyük miktarda materyal yüklemeyi denediğinde bunu öğrendi. T-Mobile CIO Jeff Simon, "Sonunda büyük bağlam penceresine sahip bir modelimiz oldu, bütün müşteri destek dokümantasyonumuzu o ajana yükleyelim dedik" diyerek ekledi: "Hiç çalışmadı." Simon'a göre ajan, dokümantasyon yığınıyla çalışırken kafa karışıklığı yaşıyor. T-Mobile şimdi bağlamı "olabildiğince dar" tutuyor ve soruları tek bir modelin tüm destek kütüphanesini taraması yerine uzmanlaşmış ajanvasına yönlendiriyor.Adobe mühendislikten sorumlu kıdemli başkan yardımcısı Anjul Bhambhri ise bazı pazarlama görevlerinde daha fazla bağlamın işe yarayabileceğini söyledi. Örneğin bir pazarlamacı, Adobe CX Enterprise Coworker ile bir markanın tatil kampanyasını geliştirirken son üç yılda hangi kampanyaların yapıldığını bilmesi gerekebiliyor. Bhambhri, "Bağlam verilmezse çok genel bir yanıt alabilirler" diye konuştu. Bir örnekte, geçmiş kampanyalara bakmak, sadık müşteriler arasında Black Friday'deki yüzde 20 indirimden yerine ücretsiz kargonun daha iyi dönüşüm sağladığını ortaya çıkardı. Bhambhri bunu "doğru kişi için doğru görev için doğru bağlam" sözleriyle özetledi.
Uber ajanvasına şirketin haritasını veriyor
Uber'in yaklaşımı ise ajanlara şirketin bir haritasını verip gerisini aramalarına izin vermek. Medisetty, "Ajanlara Uber'in nasıl çalıştığına dair zihinsel bir harita veriyoruz" dedi ve şirketin "gerekli bütün bağlamı baştan enjekte etmeye çalışmadığını" söyledi. Bağlam grafiği, üretim servisleri, sahipleri, veri kümeleri, geçmiş sorgular ve diğer iç sistemler hakkındaki bilgileri tutuyor. Ajanlar önce grafiğin şemasını alıyor, geri kalanını kendileri gezerek ilgili dokümanları ve kaynak kodu gerektikçe çekiyor. 28 Ekim itibarıyla Medisetty, grafiğin yaklaşık 200 milyon düğüm ve kenara ulaştığını söyledi; Uber'in Ağustos yazısı ise toplam 104 milyon — 24 milyon düğüm ve 80 milyon kenar — rakamını vermişti. İç değerlendirmelerin daha iyi sonuçlar, daha düşük maliyet ve daha hızlı tamamlama gösterdiğini belirten Medisetty toplam rakam vermedi. Uber'in Ağustos yazısındaki bir örnekte, aynı model ve aynı prompt ile: Grafikle veri tablosunu 38 saniyede doğru şekilde buldu; grafiksiz 20 dakika 9 saniye harcayıp verinin sorgulanamayacağı şeklinde yanlış sonuca vardı.Uber bu yaklaşımı birkaç ay içinde geliştirdi. Medisetty'ye göre yapay zeka, CEO ve CTO düzeyinde şirket çapında öncelik olduğu için destek bulmak ve doğru kişileri projeye almak kolaydı. T-Mobile ise benzer bir yaklaşımı deneyip terk etti: Canlı aramalarda müşterilere yanıt veren ajanlar için bir bilgi grafiği kuran şirket, ajanların büyük grafikte kaybolduğunu ve aramanın canlı görüşmede bulunmayan zamanı aldığını gördü. Simon, "Zamanımız çok yok" diyerek, müşterilerin soru sorma biçimlerine göre ajanları doğru bilgiye yönlendiren, anahtar-değer veritabanına dayalı "çok basit bir önbellek" kullandıklarını söyledi. İki yaklaşım farklı ihtiyaçlara hizmet ediyor: Uber'in ajanları iç mühendislik ve veri sistemlerinde gezinirken, T-Mobile'ın ajanları gerçek zamanlı olarak müşteri yanıtlamak zorunda.
Uber getiriyi nasıl ölçüyor
Medisetty'ye göre Uber'in testi, "kalite güvencelerimizi aynı tutarken verimi en üst düzeye çıkarmak." Mühendislerin daha çok üretip üretmediğini takip etmek için şirket tasarım dokümanı, pull request ve deployment sayılarını ölçüyor. Güvence tarafında ise her kod değişikliği başına olay sayısını, kodun ne kadar sık geri alındığını ve ajanlar kod ürettikçe inceleme ile döngü sürelerini izliyor.Kod incelemesi ayrı bir kontrol konusu: Uber, yapay zeka inceleyicisinin attığı her yorumun mühendisler tarafından işleme alınıp alınmadığını takip ediyor ve mühendislerin yüzlerce yorumun içinden geçmesin diye yalnızca yüksek sinyalli yorum hedefliyor. Şirket ajanlarına güveni kademeli kuruyor: CI (sürekli entegrasyon) her kod değişikliğini birleştirilmeden önce otomatik derleme ve testlerden geçiriyor; bir kontrol başarısız olduğunda Uber'in kendini onaran CI sistemi bir düzeltme deniyor. Uber temkinli başladı; her düzeltme denemesini Slack üzerinden mühendise gönderdi: "Bu bizim denediğimiz düzeltme. Kabul etmek ister misiniz?" Bir CI hatası türü iyi bir kabul oranı gösterdiğinde otomatik kabul'e geçirildi ve pull request doğrudan yamalandı. Uber ayrıca baştan ayrı bir otomatik düzeltme başlatmanın pahalı olmasından dolayı daha basit CI kontrollerini geliştirme akışının daha erken aşamalarına taşıdı.
Medisetty, Uber'in nihai ölçütleri olan toplam ve mühendis başına çıkarılan özelliklerde ancak yakın zamanda "gerçek bir trend çizgisi" görmeye başladıklarını söyledi; bu ölçütlerin hiçbirine rakam vermedi. VentureBeat'in Ekim VB Pulse anketinde, 156 nitelikli katılımcının yüzde 26'sı kurumlarının yapay zeka harcamasını "finans ekibine savunabileceğimiz ölçülmüş bir finansal getiriyle" değerlendirdiğini söylerken, yüzde 44'ü zaman tasarrufu gibi ölçülmüş bir operasyonel sonuçla değerlendirdiğini belirtti. Uber'in verim ve kod kalitesi ölçütleri bu operasyonel kategoriye giriyor; Medisetty, şirketin yapay zeka harcamasının genel finansal getirisine dair hesaplama sunmadı.

Siber Güvenlik
Siber Güvenlik
Siber Güvenlik
Yorumlar (0)
Yorum yapmak için giriş yapmalısınız.