Yapay zeka araçlarını günlük işte kullanırken en çok yarayan bilgi, modelin ne yaptığı değil neyi yapmadığı: bir dil modeli soruyu okuyup bir veri tabanından cevap bulmuyor. Metnin devamını tahmin ediyor. Bu tek cümle, araçların hem gücünü hem de sınırlarını açıklıyor.
Token: modelin gördüğü parçalar
Model harf ya da kelime değil token görür. Token, sık geçen harf dizilerinden oluşan parçalardır; bir kelime tek token olabilir, uzun bir kelime üç dört parçaya bölünebilir. Türkçe gibi ekleri bol dillerde aynı anlam genellikle İngilizceden daha fazla token tutar — bu yüzden aynı metin Türkçede daha fazla “yer” kaplar, ücretli araçlarda daha pahalıya gelir ve bağlam sınırına daha çabuk dayanır.
Metin tokenlara bölündükten sonra her token bir sayı dizisine çevrilir. Modelin içinde kelimeler değil, bu sayılar dolaşır.
Parametre: öğrenilmiş katsayılar
“7 milyar parametreli model” denince kastedilen, eğitim sırasında ayarlanmış katsayı sayısıdır. Parametreler bilgi kırıntılarını tek tek saklamaz; dilin ve dünyanın istatistiksel düzenini birlikte kodlar. Model bir şeyi “hatırlıyor” gibi görünüyorsa, o bilgi bu katsayıların içine dağılmış hâlde duruyor demektir.
Parametre sayısı tek başına kalite ölçüsü değildir. Eğitim verisinin niteliği, eğitim süresi ve eğitim sonrası ayar (insan geri bildirimiyle hizalama) en az o kadar belirleyicidir. Küçük ama iyi eğitilmiş bir model, çok daha büyük ama kötü ayarlanmış bir modeli geçebilir.
Dikkat mekanizması ve tahmin döngüsü
Bugünün modelleri transformer mimarisini kullanıyor. Buradaki kritik parça dikkat (attention) mekanizması: her token üretilirken model, metnin hangi bölümlerinin o an önemli olduğunu ağırlıklandırır. “Ali kitabı aldı, çünkü o çok ilginçti” cümlesinde “o” zamirinin kitaba bağlanması bu ağırlıklandırmayla olur.
Üretim tek tek ilerler: model bir sonraki token için olasılık dağılımı hesaplar, birini seçer, seçtiğini metnin sonuna ekler ve döngüyü yeniden çalıştırır. Yani cevabı baştan planlayıp yazmaz; yazarken oluşturur.
Sıcaklık: neden aynı soruya iki farklı cevap?
Seçim her zaman “en olası token” değildir. Sıcaklık (temperature) ve benzeri örnekleme ayarları, olasılığı düşük seçeneklere ne kadar şans verileceğini belirler. Düşük sıcaklık tekrarlanabilir ve kuru, yüksek sıcaklık yaratıcı ama savruk sonuç verir. Aynı soruyu iki kez sorduğunuzda farklı cevap almanızın nedeni budur; model “kararsız” değil, örnekleme rastgeleliği var.
Bağlam penceresi: modelin çalışma masası
Bağlam penceresi, modelin o an birlikte görebildiği token sayısıdır: sistem yönergesi, konuşma geçmişi, yüklediğiniz dosya ve üretilen cevap bu alana sığmak zorundadır. Pencere dolduğunda en eski bölüm devre dışı kalır; sohbet uzadıkça başta söylediğiniz kuralı “unutmasının” sebebi genellikle budur.
Pencere ne kadar büyükse tek seferde o kadar çok malzeme verebilirsiniz, ama iki şey değişmez: uzun bağlamda ortada kalan ayrıntılar gözden kaçabilir ve her token işlenmek zorunda olduğu için maliyet ile gecikme artar. Pratik sonuç: gereksiz metin yüklemek yardım etmez, zarar verir.
Eğitim bitti, öğrenme durdu
Model kullanımdayken öğrenmez. Konuşma sırasında verdiğiniz bilgi yalnızca o bağlam penceresinde yaşar; oturum kapandığında modelin katsayıları aynı kalır. Bir aracın “yeni bilgiyi hatırlaması” için ya o bilgiyi her seferinde bağlama koyması (belge arama, araç çağırma) ya da modelin yeniden eğitilmesi gerekir.
Bu yüzden modelin bilgisi eğitim verisinin kesildiği tarihe kadardır. Güncel bir konuda doğru cevap veriyorsa, büyük olasılıkla arkada bir arama aracı çalışıyordur.
Pratikte ne işe yarar
- Uzun yönergeyi başa koyun, kısa tutun. Pencereye gereksiz metin doldurmak dikkati dağıtır.
- Kritik kuralı tekrar edin. Sohbet uzadıysa kuralı yeniden yazmak, modelin “unutmasını” çözen en basit yöntem.
- Kesinlik isteyen işte sıcaklığı düşürün (ayar varsa) ve çıktıyı doğrulanabilir biçimde isteyin.
- Sayı, tarih ve kaynak istediğinizde doğrulayın. Tahmin mekanizması bu üçünde en kırılgan — nedenini halüsinasyon yazımızda ayrı ayrı anlattık.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.