Bir dil modeli nasıl eğitilir: ön eğitim, ince ayar ve insan geri bildirimi

“Yapay zeka eğitildi” cümlesi tek bir işlem gibi duruyor ama pratikte birbirinden çok farklı üç aşama var. Modelin neyi iyi, neyi kötü yaptığını anlamanın en kısa yolu, hangi davranışın hangi aşamadan geldiğini bilmek. Modelin ne olduğunu temel yazıda anlatmıştık; burada nasıl o hâle geldiğine bakıyoruz.

Birinci aşama: ön eğitim

Model, çok büyük bir metin yığını üzerinde tek bir göreve çalışır: bir sonraki parçayı tahmin etmek. Metin parçalara (token) bölünür, model her adımda devamını tahmin eder, hata ölçülür ve milyarlarca parametre bu hatayı azaltacak yönde azıcık güncellenir. Bu döngü trilyonlarca parça üzerinde tekrarlanır.

Bu aşamada kimse modele dilbilgisi, tarih ya da program yazmayı öğretmiyor. Dilin istatistiksel yapısını yeterince iyi tahmin etmek için gereken örüntüler, yan ürün olarak öğreniliyor. Maliyetin neredeyse tamamı burada: haftalar süren, binlerce hızlandırıcıyla yapılan hesap.

Modelin bilgi kesme tarihi de bu aşamadan gelir. Ön eğitim verisi belirli bir noktada toplanmıştır; sonrasında olanlar modelin içinde yoktur. Güncel bilgiyi isteme eklemek için kullanılan yöntem RAG.

Veri miktarı mı, kalitesi mi

Uzun süre “daha fazla veri ve daha fazla parametre” formülü geçerliydi. Ölçeklendirmenin sonuçları hâlâ geçerli ama alanın öğrendiği ikinci ders şu: veri kalitesi, ham miktardan daha belirleyici olabiliyor. Tekrarlanan metinleri ayıklamak, düşük kaliteli sayfaları süzmek ve alan dengesini düzeltmek, aynı hesap bütçesiyle belirgin biçimde daha iyi model veriyor.

Buradan doğan bir sorun da var: değerlendirme setlerinin eğitim verisine sızması. Bir modelin kıyaslama puanı yüksekse, soruları daha önce görmüş olabileceği ihtimali ciddiye alınır. Kıyaslama rakamlarını okurken de bilimsel çalışma okuma disiplini geçerli: yöntem açıklanmamışsa rakam tek başına bir şey söylemez.

İkinci aşama: talimata uyum

Ön eğitimden çıkan model, metni devam ettirmekte iyidir ama soru-cevap biçiminde çalışmayı bilmez. Bir soru sorduğunuzda size başka sorular listesi üretebilir — çünkü internette sorular genelde listeler içinde geçer.

İkinci aşamada model, çok daha küçük ama özenle hazırlanmış bir veriyle eğitilir: talimat ve istenen yanıt çiftleri. Bu aşama modele yeni bilgi öğretmez; nasıl davranacağını öğretir. Biçime uyma, adım adım anlatma, istenen uzunlukta cevap verme gibi davranışların kaynağı burası.

Üçüncü aşama: tercih öğrenme

Son aşamada iki yanıt arasında insanların hangisini tercih ettiği bilgisi kullanılır. Bu tercihlerle bir ödül modeli eğitilir; ardından ana model, bu ödülü yükseltecek biçimde ayarlanır. İnsan geri bildirimiyle pekiştirmeli öğrenme denen bu yöntemin daha basit alternatifleri de kullanılıyor.

Kazandırdığı şey açık: daha yararlı, daha az kaba, isteme daha uygun yanıtlar. Yan etkileri de somut:

• Aşırı nezaket ve onaylama eğilimi. İnsanlar kendilerini doğrulayan yanıtları tercih ettiği için model de bu yöne kayabilir.
• Emin görünme baskısı. Kararsız bir yanıt daha az tercih edildiği için model, bilmediği yerde de kendinden emin konuşmaya yönelir. Halüsinasyonun bir bileşeni burada.
• Uzunluk yanılgısı. Daha uzun cevaplar daha iyi sanıldığı için gereksiz uzun yanıtlar ödüllenebilir.

Güvenlik eğitimi ve sınırlar

Aynı aşamada modele reddetmesi gereken istekler de öğretilir. Bu bir filtre değil, öğrenilmiş bir davranış; dolayısıyla kusursuz değil. Modelin sınırlarını aşmaya çalışan istemler bu yüzden zaman zaman işe yarar ve sağlayıcılar modelin yanına ayrıca kural tabanlı denetimler koyar.

Damıtma: küçük modeller nereden geliyor

Büyük bir modelin çıktıları kullanılarak küçük bir model eğitilebiliyor. Buna damıtma deniyor ve telefonda ya da tek bir ekran kartında çalışan modellerin arkasındaki yöntemlerden biri. Küçük model, büyüğünün bilgisinin tamamını taşımaz; ama hedeflenmiş görevlerde şaşırtıcı ölçüde yakın sonuç verebilir. Donanım tarafındaki hesabı yerel model yazısında çıkardık.

Eğitim pahalı, kullanım ucuz

Son bir kavram ayrımı: eğitim bir kez yapılan, çok pahalı bir iştir; çıkarım yani modeli kullanmak her seferinde yapılan, çok daha ucuz bir iştir. Model yayımlandıktan sonra sizin yazdığınız istem modeli değiştirmez — yeni bir eğitim turu olmadan model öğrenmez. Sohbette “sana öğretiyorum” hissi, yalnızca o konuşmanın bağlamında geçerli.

Ön eğitim modele dili veriyor, ince ayar görgü kurallarını, tercih öğrenme ise hangi cevabın hoşunuza gittiğini. Üçü aynı şey değil.