Yapay zeka kıyaslama puanları: hangi rakama güvenmeli

Model duyurularında standart bir tablo var: birkaç kıyaslama adı ve yanında rakamlar. Bu tablolar tamamen anlamsız değil, ama ne ölçtüklerini ve neyi ölçmediklerini bilmeden okumak yanıltıcı. Aynı dikkat, her ölçüm iddiası için gerekiyor — bilimsel çalışma okuma ve ölçek yazılarında kurduğumuz çerçeve burada da geçerli.

Kıyaslama ne ölçüyor

Kıyaslamalar genellikle dört öbekte toplanıyor:

• Bilgi testleri: çok sayıda alandan çoktan seçmeli sorular. Hızlı ölçülür, ama ezberlemeye açıktır.
• Akıl yürütme ve matematik: adım adım çözüm isteyen problemler. Daha ayırt edici; buna karşılık tek bir yanlış adım tüm cevabı düşürür.
• Kodlama: testleri olan görevler. En sağlam kıyaslama türü, çünkü doğruluk otomatik ve nesnel biçimde kontrol edilebiliyor.
• Uzun bağlam ve araç kullanımı: büyük bir metnin içinden bilgi bulmak, çok adımlı görevi tamamlamak. Gerçek kullanıma en yakın, ölçmesi en zor öbek.

En büyük sorun: veri sızıntısı

Kıyaslama soruları internette yayımlanmış durumda; eğitim verisi de büyük ölçüde internetten toplanıyor. Yani bir model, test sorularını eğitim sırasında görmüş olabiliyor.

Bu durumda yüksek puan, yeteneği değil ezberi gösteriyor. Alanın geliştirdiği savunmalar var: sorularını yayımlamayan gizli test kümeleri, her dönem yenilenen sorular, aynı soruyu yeniden ifade ederek sorma ve kıyaslamanın yayım tarihinden sonra üretilmiş sorular kullanma. Yine de tam bir çözüm yok. Eğitim verisinin nasıl toplandığını model eğitimi yazısında anlattık.

Kıyaslamaya göre eniyileme

İkinci sorun daha sinsi: bir ölçüt hedefe dönüştüğünde ölçüt olmaktan çıkar. Belirli bir testte iyi puan almak açıkça değerliyse, eğitim verisi ve ince ayar o testin tarzına göre şekillenir.

Sonuç, testte parlayan ama benzer ama farklı bir görevde zorlanan modeller. Bu yüzden deneyimli ekipler duyuru tablolarına değil, kendi işlerinden türettikleri ölçümlere bakıyor.

Aynı model, farklı puan

Çoğu kişinin bilmediği şey, aynı modelin aynı testte farklı puanlar alabilmesi. Nedenleri:

1. İstem biçimi: soruyu nasıl sorduğunuz, örnek verip vermediğiniz ve adım adım düşünmesini isteyip istemediğiniz sonucu belirgin biçimde değiştiriyor.
2. Rastgelelik ayarı: sıcaklık sıfırda değilse aynı soruya farklı cevaplar gelir.
3. Deneme sayısı: “beş denemeden biri doğruysa başarılı” ile “ilk denemede doğru” çok farklı rakamlar üretir. Tablolarda hangisinin kullanıldığı genelde küçük puntoyla yazılır.
4. Cevap ayıklama: modelin uzun cevabından doğru şıkkı çıkaran kod bile puanı etkiliyor.

Dolayısıyla iki ayrı kaynaktan gelen aynı kıyaslama rakamları karşılaştırılabilir olmak zorunda değil. Karşılaştırma yapan bir tabloda yöntem yazmıyorsa, tablo bir reklamdır.

İnsan tercih arenaları

Kullanıcıların iki cevabı karşılaştırıp hangisini beğendiğini oyladığı sıralamalar, gerçek kullanım hissine daha yakın. Ama kendi yanlılıkları var: daha uzun, daha iyi biçimlendirilmiş ve daha kendinden emin cevaplar, içerik aynı kalitede olsa bile öne çıkıyor. Bu eğilimin eğitimde nasıl pekiştiğini tercih öğrenme bölümünde ele aldık; sonuç, biçimin içeriğe karışması.

Tablolarda hiç yazmayanlar

Bir modelin işe yararlılığını belirleyen ama kıyaslamalarda görünmeyen kalemler:

• Gecikme ve maliyet: yüzde iki daha doğru ama on kat pahalı bir model, çoğu iş için kötü bir seçim. Enerji tarafını enerji maliyeti yazısında ele aldık.
• Tutarlılık: aynı soruya her seferinde benzer kalitede cevap verebiliyor mu?
• Bilmediğini söyleme: çoktan seçmeli testler, uydurmayı cezalandırmaz. Oysa pratikte en pahalı hata bu — halüsinasyon yazısı.
• Biçim uyumu: istenen çıktı şemasına sadık kalma, otomasyonda doğruluktan önemli olabiliyor.
• Dil dengesi: kıyaslamaların büyük kısmı İngilizce. Türkçe performans ayrı bir ölçüm gerektiriyor ve genelde daha düşük çıkıyor.

Kendi kıyaslamanızı kurmak

Pratik ve etkili yöntem şu: kendi işinizden 30-50 gerçek örnek toplayın, beklenen çıktıları yazın ve bunu bir regresyon testi gibi kullanın. Model ya da istem değiştiğinde aynı kümeyi geçirip karşılaştırın.

Böyle bir küme, en güncel kıyaslama tablosundan daha değerli; çünkü sizin verinizi, sizin dilinizi ve sizin hata toleransınızı ölçüyor. Değerlendirmeyi bir modele yaptırıyorsanız (yargıç olarak dil modeli kullanmak) onun da yanlılıklarını bilmek gerekiyor: uzun cevapları ve kendi üslubuna benzeyeni tercih etme eğilimi iyi belgelenmiş durumda.

Kıyaslama puanı bir modelin sizin işinizde ne yapacağını söylemez. Onu ancak kendi örneklerinizle ölçebilirsiniz.