RAG nedir: dil modeline kendi belgelerinizi okutmak

Bir dil modeli yalnızca eğitim sırasında gördüklerini ve o anda isteminde yazılanları bilir. Şirketinizin yönergelerini, ürün belgelerinizi veya dün yazılmış bir raporu bilmesi mümkün değil. En yaygın çözüm, modeli yeniden eğitmek değil — soruyla ilgili metni bulup isteme eklemek. Bu yaklaşımın adı erişim destekli üretim, kısaca RAG.

Çalışma mantığı

Zincir dört adımdan oluşuyor:

1. Parçalama: belgeler, anlamlı bütünlükler hâlinde küçük parçalara bölünür. Bir sözleşme maddesi, bir başlık altındaki bölüm, bir tablo satırı.
2. Gömme (embedding): her parça, anlamını temsil eden bir sayı dizisine çevrilir. Yakın anlamlı metinler bu uzayda birbirine yakın düşer; “fatura iptali” ile “siparişin geri alınması” aynı kelimeleri paylaşmasa da komşu olur.
3. Erişim: kullanıcının sorusu da aynı biçimde vektöre çevrilir, en yakın parçalar bulunur.
4. Üretim: bulunan parçalar isteme eklenir ve modele “yalnızca bu metinlere dayanarak yanıtla” denir.

Modelin ağırlıkları değişmez. Yeni bir belge eklendiğinde yapılacak şey onu parçalayıp dizine yazmaktır; eğitim gerekmez. Bu, RAG’i güncel tutulması gereken bilgi için ince ayardan belirgin biçimde pratik kılıyor.

İnce ayar yerine neden bu

İnce ayar (fine-tuning), modele biçim ve davranış öğretmekte iyidir: belirli bir üslupla yazmak, belirli bir çıktı şemasına uymak, alana özgü terimleri doğru kullanmak. Buna karşılık değişen olgusal bilgiyi öğretmek için verimsiz bir yoldur; her güncellemede yeni bir eğitim turu gerekir ve modelin o bilgiyi doğru hatırladığını garanti etmez.

Kaba bir ayrım: nasıl söylenecek sorusu ince ayara, ne söylenecek sorusu RAG’e gider.

Halüsinasyonu azaltır, bitirmez

Model, kaynak metni önünde gördüğünde uydurma olasılığı belirgin biçimde düşer. Ama bu bir garanti değil; halüsinasyonun kökeni modelin bilmediğini bilmemesi ve iki tipik hata RAG’de de sürer:

• Erişim boş döndüğünde ya da alakasız parça getirdiğinde model, elinde yanıt yokken yine de yanıt üretmeye çalışabilir.
• Getirilen metin doğru olsa bile model onu yanlış özetleyebilir, iki belgedeki rakamı karıştırabilir.

Bu yüzden iyi bir RAG kurulumunda iki şey şart: yanıtta kaynak göstermek (hangi belgenin hangi bölümü) ve ilgili parça bulunamadığında “bu bilgi kaynaklarda yok” demeye izin veren bir yönerge.

Nerede bozulur

RAG’in başarısızlığı genelde modelden değil, erişim tarafından gelir:

• Kötü parçalama: parça çok büyükse ilgisiz metin isteme dolar, çok küçükse bağlam kopar. Tablolar ve maddeli listeler, düz metin gibi bölündüğünde anlamını yitirir.
• Terim uyuşmazlığı: kurum içi kısaltmalar ve ürün kodları, anlam temsilinde iyi yakalanmaz. Çözüm, anahtar kelime aramasıyla vektör aramasını birlikte kullanmak (hibrit arama) ve sonuçları bir yeniden sıralama adımıyla süzmek.
• Çelişen belgeler: aynı konuda eski ve yeni iki yönerge varsa model hangisinin geçerli olduğunu bilemez. Belgelere tarih ve sürüm bilgisi eklemek, sorunun yarısını çözer.
• Eskimiş dizin: belge güncellenip dizin güncellenmediğinde sistem kendinden emin biçimde eski bilgiyi söyler. Bu, kullanıcı güvenini en hızlı bitiren hata.

Kurumsal kullanımda izin meselesi

En ciddi risk teknik değil, yetkisel. Tüm belgeleri tek bir dizine koyup herkese aynı arama hakkını verdiğinizde, insan kaynakları dosyaları ya da ücret tabloları yanlış kişinin sorusuna yanıt olarak dönebilir. Erişim denetiminin dizin seviyesinde uygulanması gerekir: sorgu, kullanıcının görmeye yetkili olduğu parçalar içinde yapılmalı.

İkinci konu, soruların ve getirilen belge parçalarının nereye gittiği. Harici bir servis kullanıyorsanız gönderilen metin o servise gidiyor; hangi verinin paylaşılabilir olduğunu veri gizliliği yazısında ayrı ayrı ele aldık.

Küçük başlamanın yolu

Elli belgeyle kurulan basit bir düzen, karmaşık bir mimariden daha çok şey öğretir. Pratik sıra: en çok sorulan 20 soruyu yazın, bu soruların cevabını içeren belgeleri toplayın, basit bir parçalama ile dizin kurun, sonra yanıtları değil erişimi ölçün. Doğru parça getirilmiyorsa sorun istemde değildir; dizindedir.

RAG, modele bilgi yüklemek değil; doğru sayfayı açıp önüne koymak.