Yerel Yapay Zeka Kullanmayı Öğrenmek: Heyecan, Kafa Karışıklığı ve Hayal Kırıklığı Bir Arada

Bulut tabanlı yapay zeka servislerine kişisel veri aktarmaktan uzun süredir kaçınan bir teknoloji yazarı, yerel modelleri kendi bilgisayarında çalıştırarak bu teknolojiyle ilk ciddi adımlarını atmaya başladı. 256 GB birleşik belleğe sahip M5 Ultra Mac Studio üzerinde yürütülen denemelerde açık kaynaklı Hermes Agent uygulaması ve Qwen 3 serisi modeller kullanıldı. Süreç hem umut verici hem de beklenmedik engellerle dolu oldu.

Neden Yerel Yapay Zeka?​

Yazarın temel motivasyonu gizlilik. OpenAI, Google, Microsoft veya Anthropic gibi büyük şirketlerin bulut altyapısına veri göndermek yerine, tüm işlemlerin kendi makinesinde kalmasını istiyor. Bu yaklaşım özellikle finansal kayıtlar veya ambargo altındaki ürün bilgileri gibi hassas verilerin işlenmesinde belirleyici bir fark yaratıyor; söz konusu bilgileri buluta yüklemek mümkün olmadığından yerel çalışma bu araçları kullanılabilir kılıyor. Öte yandan yerel modellerde token başına ücret ödenmemesi, büyük ve güçlü modelleri denemek için de ek bir teşvik sunuyor.

Hermes Agent ve Qwen Modeliyle İlk Adımlar​

Yazar, macOS, Windows ve Linux üzerinde çalışan ücretsiz ve açık kaynaklı masaüstü uygulaması Hermes Agent'ı Mac Studio'ya kurdu. Model seçimi aşamasında yüzlerce seçenekle karşılaşmak hemen bunaltıcı bir hal aldı. Sonunda 125 milyar parametreli ve yaklaşık 105 GB boyutundaki Qwen 3.8 Flash Next modeli tercih edildi. Kurulum görece hızlı tamamlandı ve Telegram botu aracılığıyla telefon üzerinden de kontrol imkânı sağlandı.
İlk pratik görev mütevazı bir başlangıç oldu: sabah 7:30'da tetiklenen bir cron job aracılığıyla günlük brifing oluşturma. Sistem e-posta ve takvimi tarayarak dikkat gerektiren konuları ve hava durumunu özetliyor. Ancak başlangıçta brifing defalarca başarısız oldu; sorunun kaynağının macOS'un uyku moduna geçmesi olduğu sonradan anlaşıldı. Bu giderilince sistem düzenli çalışmaya başladı, ancak yazar çıktıyı daha yararlı hale getirmek için hangi verilerin çekilmesi gerektiğini hâlâ düşünüyor.

Steam Kütüphanesi Düzenleme: Ajanın İşe Yaradığı An​

Daha somut bir başarı, 400'den fazla oyun barındıran Steam kütüphanesinin yeniden düzenlenmesinde yaşandı. Steam oyunları otomatik olarak kategorilendirmiyor; her şeyi tek tek elle yapmak gerekiyor. Yazar, Hermes'ten kütüphaneyi türe göre organize etmesini istedi; kendi oluşturduğu favoriler, ortak oyunlar ve eş ile oynanan oyunlar gibi özel kategorileri ise olduğu gibi bıraktı. Bunun için Steam web API anahtarı oluşturup Hermes'e tanımlamak gerekti. İşlem birkaç dakika içinde tamamlandı ve anahtar hemen ardından iptal edildi. Sonuç yeterince tatmin ediciydi: kütüphane artık kolayca gezilebilir durumda.

Veri Analizi ve Devam Eden Otomasyon Çalışmaları​

Finansal kayıtların analizi ve yeni bir dizüstü bilgisayar için teknik özellik karşılaştırma tablosu hazırlanması da yerel yapay zekanın üstlendiği görevler arasında yer aldı. Her iki durumda da bulut servislerine veri yüklenememesi, yerel çalışmayı tek geçerli seçenek haline getirdi.
Üzerinde hâlâ çalışılan daha büyük proje ise dizüstü bilgisayar kıyaslama testlerinin otomasyonu. Testlerin üçer kez çalıştırılıp ortalamasının alınması gereken bu süreç, elle yönetildiğinde son derece zaman alıcı. Hermes'e gerekli adımlar anlatılarak Python betikleri yazdırılmaya çalışılıyor; ancak bu süreç henüz tamamlanmadı ve çeşitli aksaklıklar yaşanmaya devam ediyor.

Beklentiler Gerçekçi, Yaklaşım Temkinli​

Yazar, yerel yapay zekayı sihirli bir asistan olarak görmediğini açıkça ortaya koyuyor. Günlük brifing birden fazla kez bozuldu, bazı görevler beklendiği gibi çalışmadı. Hermes ve yerel modeller, bir bilgisayar programı olarak değerlendiriliyor; duygusal bir etkileşim aranmıyor. Aynı zamanda yazı yazmak, düzenlemek veya görsel üretmek gibi işler için bu araçları kullanmak da gündemde değil. Asıl amaç, hassas verilerin dışarı çıkmasına gerek kalmadan belirli yoğun ve tekrarlayan görevleri devretmek. Apple'ın M5 Ultra Mac Studio için öne sürdüğü yerel yapay zeka argümanı ve yakında piyasaya çıkacak 128 GB RAM'e kadar çıkan RTX Spark Windows makineleri bu alanı giderek daha erişilebilir kılıyor; ancak yazara göre bu teknoloji henüz erken evrelerinde.

Sıkça Sorulan Sorular​

Yerel yapay zeka ile bulut tabanlı yapay zeka arasındaki temel fark nedir?​

Yerel yapay zekada tüm işlemler kullanıcının kendi bilgisayarında gerçekleşir; veriler OpenAI, Google, Microsoft veya Anthropic gibi şirketlerin sunucularına gönderilmez. Bu, hassas verilerin gizliliğini korumak isteyenler için belirleyici bir avantaj sunar. Ayrıca yerel modellerde token başına ücret ödenmez.

Hermes Agent nedir ve hangi platformlarda çalışır?​

Hermes Agent, macOS, Windows ve Linux üzerinde çalışan açık kaynaklı, ücretsiz bir masaüstü yapay zeka ajan uygulamasıdır. Yerel dil modelleriyle kullanıldığında herhangi bir ücret gerektirmez ve Telegram botu aracılığıyla mobil cihazlardan da kontrol edilebilir.

Yazarın testlerinde kullandığı Qwen modeli ne kadar büyük?​

Testlerde tercih edilen Qwen 3.8 Flash Next modeli 125 milyar parametreye sahip olup yaklaşık 105 GB boyutundadır. Bu modeli çalıştırabilmek için M5 Ultra Mac Studio'nun 256 GB birleşik belleği kullanıldı.

Steam kütüphanesi düzenleme görevi nasıl gerçekleştirildi?​

Hermes'e Steam kütüphanesini türe göre düzenlemesi istendi. Bunun için bir Steam web API anahtarı oluşturulup Hermes'e tanımlandı. Model, yüklü oyunları birkaç dakika içinde kategorilere ayırdı. İşlem tamamlandıktan sonra API anahtarı iptal edildi. Kullanıcının önceden oluşturduğu favoriler ve ortak oyun gibi özel kategoriler ise korundu.

Yerel yapay zeka ile çalışırken hangi sorunlarla karşılaşıldı?​

Günlük brifing görevi, macOS'un uyku moduna geçmesi nedeniyle başlangıçta birden fazla kez başarısız oldu. Kıyaslama testi otomasyonu için yazılan Python betikleri de henüz tam anlamıyla çalışmıyor. Genel olarak yerel modellerin her zaman beklendiği gibi davranmadığı ve sürecin hâlâ öğrenme aşamasında olduğu vurgulandı.