Bilimsel bir çalışmayı okumak: p değeri, örneklem ve nedensellik

Bilim haberlerinin çoğu tek bir çalışmadan üretilir ve başlık, çalışmanın kendisinden çok daha iddialıdır. İyi haber: bir makalenin ciddiye alınıp alınmayacağını anlamak için istatistikçi olmak gerekmiyor. Birkaç soru, zamanın çoğunda yeterli.

Özet değil, yöntem bölümü

Bir makalenin en çok okunan kısmı özet, en bilgilendirici kısmı yöntemdir. Yöntem bölümü şu soruları yanıtlar: çalışma kimin üzerinde yapıldı, kaç kişiyle, ne kadar sürdü, karşılaştırma grubu var mıydı, ne ölçüldü?

Özellikle üç ayrımı erken yapmak gerekir:

• Laboratuvar / hücre çalışması: mekanizmayı anlamak için değerlidir, insandaki etki hakkında doğrudan bir şey söylemez.
• Hayvan çalışması: bir fikri test etmenin ucuz ve hızlı yolu. Farede işe yarayan müdahalelerin çoğu insanda aynı sonucu vermez.
• İnsan çalışması: burada da gözlemsel çalışma ile müdahale çalışması (randomize kontrollü deney) arasında büyük fark vardır.

Haber “araştırmaya göre X kanseri önlüyor” diyorsa ve çalışma hücre kültüründe yapılmışsa, cümle olduğu gibi yanlıştır.

Örneklem: kaç kişi ve kimler

Küçük örneklem otomatik olarak kötü değildir, ama küçük örneklemde rastlantının payı büyüktür. Daha önemlisi kimler sorusu: 22 yaşındaki sporcu erkeklerde ölçülen bir etki, 65 yaşındaki hareketsiz bir popülasyon için aynı şeyi söylemez.

Katılımcıların nasıl seçildiği de belirleyicidir. Gönüllü olarak gelenler, ilgilenen ve genelde daha sağlıklı kişilerdir; bu tek başına sonucu olumlu yöne kaydırabilir.

Korelasyon ile nedensellik

İki şeyin birlikte hareket etmesi, birinin diğerine yol açtığını göstermez. Üç olasılık her zaman masadadır: ilişki ters yönde olabilir, ikisini birden etkileyen üçüncü bir etken olabilir, ya da ilişki tamamen rastlantı olabilir.

Klasik örnek, kahve ile akciğer kanseri arasındaki ilişkidir. Çok kahve içenlerde oran yüksek görünür; çünkü o grupta sigara içenlerin oranı da yüksektir. Burada gizlenen değişken sigaradır. İyi gözlemsel çalışmalar bunu istatistiksel olarak düzeltmeye çalışır — ama yalnızca akıllarına gelen değişkenleri düzeltebilirler.

Nedenselliği güvenle söylemenin yolu müdahale etmektir: katılımcıları rastgele iki gruba ayırıp birine müdahaleyi uygulamak. Rastgelelik, bilinmeyen değişkenleri de iki gruba dağıttığı için işe yarar.

p değeri ne demek, ne demek değil

Yaygın bir eşik olarak p < 0,05 görürsünüz. Bunun anlamı şudur: eğer gerçekte hiçbir etki yoksa, elde edilen kadar uç bir sonucun rastlantıyla çıkma olasılığı yüzde 5’ten küçüktür.

Ne anlama gelmediği ise daha önemli:

• Hipotezin yüzde 95 doğru olduğu anlamına gelmez.
• Etkinin büyük olduğu anlamına gelmez. Yeterince büyük örneklemde, pratikte önemsiz bir fark da “anlamlı” çıkar.
• Eşiğin hemen üstünde kalan bir sonuç (0,06 gibi) “etki yok” demek değildir.

Bu yüzden deneyimli okuyucu p değerinden çok etki büyüklüğü ve güven aralığına bakar. “Ortalama 0,3 kg fark, güven aralığı 0,05–0,55” cümlesi, tek bir p değerinden çok daha fazlasını söyler. Güven aralığının genişliği, sonucun ne kadar belirsiz olduğunu doğrudan gösterir.

Tek çalışma, bilgi değildir

Bilim tek makaleyle ilerlemez. Aynı soruya bakan çalışmaları bir araya getiren sistematik derleme ve meta-analizler, tek bir sonuçtan çok daha güçlü kanıt sunar. Bir bulgunun bağımsız ekiplerce yeniden üretilmiş olup olmadığı, en kritik sorudur.

Birkaç pratik uyarı işareti:

1. Makale ön baskı (preprint) ise hakem değerlendirmesinden geçmemiş olabilir; bu onu değersiz yapmaz, ama kesinliği azaltır.
2. Çalışmayı, sonucundan ticari çıkarı olan taraf finanse etmişse bu bilgi makalede belirtilir — bakmaya değer.
3. Çok sayıda sonuç ölçülüp yalnızca anlamlı çıkanlar anlatılıyorsa, rastlantıyı bulgu diye okuma riski yüksektir.
4. Ana sonuç çalışma başlamadan ilan edilen sonuç mu, yoksa sonradan bulunmuş bir alt grup mu?

Yapay zekâ özetlerine not

Bir makaleyi dil modeline özetletmek hızlı bir başlangıçtır, ama model kaynağı okumadan da kendinden emin cümleler kurabilir; nedenini halüsinasyon yazısında anlattık. Özet ne derse desin, sayı ve yöntem iddialarını makalenin kendisinden doğrulamak gerekir.

“Araştırmaya göre” ile başlayan bir cümlenin değeri, hangi araştırma olduğunu söyleyip söylemediğinde saklı.