Yapay zekaya soru sormak: aynı soru neden farklı cevap veriyor

Bir dil modeline aynı soruyu iki kez sorup iki farklı cevap almak çoğu kullanıcıyı şaşırtır. Hesap makinesi aynı işlemi her seferinde aynı sonuçla yapar; model neden yapmıyor? Çünkü model hesap yapmıyor, olasılık seçiyor.

Model her adımda bir seçim yapıyor

Dil modeli metni kelime kelime değil, parça parça üretir. Her adımda sıradaki parça için binlerce seçeneğe olasılık atar ve içlerinden birini seçer. Bu seçimin nasıl yapıldığını birkaç ayar belirler:

• Sıcaklık: olasılık dağılımını düzleştirir ya da sivriltir. Düşük sıcaklık her zaman en olası parçayı seçmeye yaklaşır, yüksek sıcaklık daha az olası seçeneklere de şans tanır.
• Üst olasılık kesme: yalnız en olası seçenekler havuzunu bırakır, gerisini eler.
• Tekrar cezası: aynı ifadenin dönüp durmasını engellemeye çalışır.

Yaratıcı metin isteyen bir arayüz sıcaklığı yüksek tutar; kod ya da veri çıkarma işlerinde düşük tutulur. Aynı ayarla bile tam olarak aynı çıktı garanti edilmez: büyük modeller paralel donanımda çalışır ve toplama sırasındaki küçük farklar sonucu değiştirebilir. Temelin nasıl kurulduğunu büyük dil modeli nasıl çalışır yazısında anlatmıştık.

Bağlam penceresi: modelin masası

Modelin "hafızası" yoktur; her istekte kendisine verilen metni baştan okur. Bu metnin tamamı — sistem talimatı, önceki mesajlar, yapıştırdığınız belge ve sorunuz — bağlam penceresine sığmak zorundadır.

Buradan birkaç pratik sonuç çıkar:

• Uzun bir sohbette ilk mesajlar pencere dışında kalabilir; model onları "unutmaz", artık görmez.
• Çok uzun metinlerde modeller ortadaki bilgileri, baştaki ve sondakilere göre daha sık atlar. Kritik talimatı sona koymak işe yarar.
• Kendi belgelerinizi sürekli yapıştırmak yerine bir arama katmanı kurmak daha verimli olabilir; RAG yazısı bunu anlatıyor.

İyi bir istemin dört parçası

İstem mühendisliği denen şey, pratikte dört sorunun cevabını metne koymaktan ibarettir:

• Görev: ne yapılacak? "Özetle" değil, "bu raporu üç maddede, karar vericiye yönelik özetle".
• Bağlam: model neyi bilmeli? Hedef kitle, alan, kısıtlar.
• Biçim: çıktı nasıl görünsün? Tablo mu, madde mi, kaç kelime?
• Örnek: bir doğru örnek, üç paragraf açıklamadan daha etkilidir.

"Adım adım düşün" gibi kalıplar bazı görevlerde sonucu iyileştirir, çünkü modeli ara adımları da üretmeye zorlar. Ama bu sihir değildir: yanlış bir temel bilgiden adım adım ilerlemek yine yanlış sonuca götürür.

Neden uydurmaya devam ediyor

Model, "bilmiyorum" demeyi ödüllendiren bir dünyada eğitilmedi; akıcı ve kendinden emin metin üretmeyi öğrendi. Bu yüzden boşluk gördüğünde doldurur. Halüsinasyon yazısında bunun nedenlerini ayrıntılandırmıştık. İstem tarafında yapılabilecek iki şey var: kaynağı siz verin ve "kaynakta yoksa yok de" talimatını açıkça yazın.

Ne zaman istemi değiştirmeyi bırakmalı

Bazı işler istemle çözülmez. Çıktının her seferinde aynı biçimde gelmesi gerekiyorsa şema zorlaması, kurum verisine dayanması gerekiyorsa arama katmanı, sayısal kesinlik gerekiyorsa hesabı modele değil bir araca yaptırmak gerekir. Kod işlerinde bu sınırın nerede olduğunu kod yazmak yazısında tartışmıştık.

Model bir arama kutusu değil, bir metin tamamlayıcı. Sorunuzu ne kadar iyi tanımlarsanız, tamamlayacağı boşluk o kadar az olur.