Cihaz üstü yapay zeka: ne zaman telefonda, ne zaman bulutta çalışır

Telefonunuzdaki canlı altyazı uçak modunda da çalışır; aynı telefondaki sohbet asistanı internet kesilince durur. Aradaki fark marka tercihi değil, mühendislik kısıtı: model nerede çalışıyorsa sınırları da oradan geliyor.

Cihazda çalıştırmanın bedeli ve kazancı

Telefonlarda artık yapay zeka işlerini üstlenen ayrı birimler var. Bu birimler verimli ama küçük modeller için tasarlandı. Cihazda çalışan bir model tipik olarak sıkıştırılmıştır: ağırlıkları daha düşük hassasiyete indirilir, bazı katmanları budanır. Bunun nasıl yapıldığını masaüstü tarafında yerel model çalıştırmak yazısında anlatmıştık.

Kazançlar gerçek:

• Gecikme: ağ turu yok; tuşa bastığınız anda cevap başlar.
• Çevrimdışı çalışma: uçakta, metroda, kapsama dışında.
• Veri cihazda kalır: ses kaydı ya da fotoğraf sunucuya gitmez.
• Maliyet: işlem sizin cihazınızda yapıldığı için sunucu faturası yok.

Bedeli de gerçek: pil tüketimi, ısınma ve sınırlı yetenek. Cihaz ısındığında işlemci hızını düşürür, model yavaşlar.

Bulutta çalıştırmanın mantığı

Büyük modeller onlarca gigabayt bellek ister; bu, telefona sığmaz. Bulut tarafında model büyüyebilir, güncellenebilir ve pahalı donanımı binlerce kullanıcı paylaşır.

• Model her an güncellenebilir; cihaz güncellemesi beklemeye gerek kalmaz.
• Yetenek tavanı çok daha yüksektir: uzun bağlam, karmaşık akıl yürütme, araç kullanımı.
• Karşılığında ağ gecikmesi, bağlantı bağımlılığı ve verinin cihazdan çıkması vardır.

Enerjinin nerede harcandığı da ayrı bir tartışma; yapay zekanın enerji maliyeti yazısında eğitim ile günlük kullanım arasındaki farkı ele almıştık.

Hibrit: çoğu ürünün gerçek mimarisi

Pratikte ikisi birlikte kullanılır. Yaygın desen şöyle işler: küçük bir model cihazda isteği sınıflandırır, basit işleri kendisi halleder, zor olanı buluta yollar. Kullanıcı bu geçişi fark etmez.

Tipik dağılım:

• Cihazda: klavye tahmini, canlı altyazı, fotoğrafta nesne ayırma, sesle uyandırma, basit özetleme.
• Bulutta: uzun metin üretimi, görsel üretimi, çok adımlı akıl yürütme, geniş belge kümesinde arama.

"Cihazda çalışıyor" ne garanti eder, ne etmez

Bir özelliğin cihazda çalışması, hiçbir verinin dışarı çıkmadığı anlamına gelmez. Modelin kendisi yerelde çalışırken kullanım istatistikleri, hata kayıtları ya da kalite ölçümleri yine sunucuya gidebilir. Ayrım şurada:

• İçerik: sesiniz, fotoğrafınız, metniniz nerede işleniyor?
• Telemetri: özelliğin kaç kez kullanıldığı, ne kadar sürdüğü nereye gidiyor?

Gizlilik ayarlarında bu ikisi ayrı ayrı yazılı olmalıdır. Hangi verinin paylaşılmaya değdiğini veri gizliliği yazısında ayrıntılandırmıştık.

Satın alırken bakılacak şey

Bir cihazın "yapay zeka destekli" olması tek başına bir şey söylemez. Anlamlı sorular şunlar: hangi özellikler çevrimdışı çalışıyor, model güncellemeleri ne kadar süre verilecek, özellik bir aboneliğe bağlı mı? Üçüncü soru son yıllarda giderek daha önemli hâle geldi; güncelleme süresi meselesini destek süresi yazısında anlatmıştık.

Model nerede çalışıyorsa sınırları da oradan gelir: cihazda hız ve mahremiyet, bulutta yetenek ve güncellik. Çoğu ürün ikisini birden satar, hangisini ne zaman kullandığını söylemez.