Yerel model çalıştırmak: VRAM, niceleme ve gerçekçi beklenti

Kendi donanımında model çalıştırmanın iki somut gerekçesi var: veri cihazdan çıkmaz ve kullanım başına ücret ödemezsiniz. Bedeli de somut: bellek sınırı ve kalite farkı. İkisini önceden hesaplamak, hayal kırıklığını önlüyor.

Bellek hesabı: parametre × bayt

Kaba kural: bir modelin ağırlıkları, parametre sayısı × parametre başına bayt kadar yer tutar.

• 16 bit (FP16) — parametre başına 2 bayt. 7 milyar parametreli model ≈ 14 GB.
• 8 bit — 1 bayt. Aynı model ≈ 7 GB.
• 4 bit — yaklaşık 0,5 bayt. Aynı model ≈ 4 GB civarı.

Buna bağlam için ayrılan bellek eklenir: konuşma uzadıkça büyüyen anahtar-değer önbelleği. Uzun bağlamla çalışacaksanız ağırlıkların üstüne birkaç gigabayt daha pay ayırın. Yani 8 GB belleğe 4-bit bir 7B model rahat sığar, 13B model zorlanır, 70B model hiç sığmaz.

Niceleme (quantization) nedir, neyi kaybettirir

Niceleme, ağırlıkları daha az bitle temsil etmek demek. 8 bit ve 6 bit seviyelerinde kalite farkı çoğu işte fark edilmez; 4 bit, boyut ile kalite arasında bugünün en yaygın dengesi. Daha aşağısına (3 bit ve altı) inildiğinde model belirgin biçimde dağılmaya başlar: talimatı atlar, tutarsız cevaplar verir.

Pratik kural: daha büyük modelin 4-bit hâli, küçük modelin 16-bit hâlinden genellikle daha iyidir. Belleğe sığan en büyük modeli makul nicelemeyle çalıştırmak doğru başlangıç.

Donanım: ne gerçekten fark eder

• Bellek miktarı hangi modeli çalıştırabileceğinizi belirler — önce bu.
• Bellek bant genişliği ne kadar hızlı üreteceğinizi belirler. Token üretimi hesaptan çok bellek okumasına bağlıdır; bu yüzden bant genişliği yüksek sistemler belirgin biçimde hızlı.
• Birleşik bellekli sistemler (Apple Silicon gibi) büyük modelleri belleğe sığdırmakta avantajlı; ham hesap gücünde ayrık ekran kartlarının gerisinde kalabilir.
• CPU üzerinden çalıştırma mümkün ama yavaş. Modelin bir kısmını ekran kartına, kalanını işlemciye bölmek (offload) işe yarar, hız ağır kısma göre belirlenir.

İki farklı hız ölçüsü

Kıyaslamalarda iki sayı görürsünüz: istem işleme (verdiğiniz metnin okunma hızı) ve üretim (saniyede üretilen token). Uzun belgeyle çalışıyorsanız ilki, sohbet ediyorsanız ikincisi önemli. Rahat okunabilir bir akış için saniyede on token civarı yeterli; altına düştüğünde beklemek yorucu olur.

Küçük modellerin gerçekten iyi olduğu işler

• Özetleme ve yeniden yazma
• Biçim dönüştürme (metinden tabloya, günlükten JSON’a)
• Sınıflandırma ve etiketleme
• Basit kod tamamlama ve kabuk komutu hatırlatma
• Kişisel notlar üzerinde arama (belge arama ile birlikte)

Zayıf kaldıkları yer: çok adımlı akıl yürütme, uzun kod tabanında bağlam kurma, nadir bilgi gerektiren sorular. Bu işlerde büyük modellerle fark hâlâ belirgin.

Başlangıç için gerçekçi plan

Elinizdeki belleğe uygun 4-bit bir model seçin, önce tek bir işte deneyin (ör. toplantı notu özetleme) ve çıktıyı aynı işi yapan bulut modelinin çıktısıyla karşılaştırın. Kararı “yeterli mi” sorusuyla verin — “en iyi mi” sorusuyla verilen karar, yerel modellerde her zaman olumsuz çıkar.