Konuşma tanıma ve otomatik çeviri: alt yazı hataları nereden geliyor

Sesli not alma, toplantı dökümü ve otomatik alt yazı son yıllarda sessizce çok iyileşti. Bu iyileşmenin kaynağı, sistemin mimarisindeki köklü bir değişiklik: eskiden sesi parça parça çözümleyen bir boru hattı vardı, bugün sesten doğrudan metne giden tek bir model var.

Eski yöntem: üç ayrı parça

Klasik konuşma tanıma üç bileşenden oluşuyordu: sesin hangi temel sesi (fonem) taşıdığını tahmin eden akustik model, kelimelerin hangi seslerden oluştuğunu söyleyen bir sözlük ve hangi kelime dizilerinin olası olduğunu bilen bir dil modeli.

Bu yapı çalışıyordu ama kırılgandı: sözlükte olmayan kelimeyi hiç tanıyamıyordu, her dil için elle hazırlanmış kaynak gerekiyordu ve parçalar arasındaki uyumsuzluk hata üretiyordu.

Bugünkü yöntem: uçtan uca

Modern sistemler sesi önce bir zaman-frekans haritasına (spektrogram) çevirip bu haritayı doğrudan metne eşleyen tek bir sinir ağına veriyor. Model, hangi sesin hangi harf dizisine karşılık geldiğini ayrı ayrı öğretilmeden, çok sayıda ses-metin çiftinden öğreniyor.

Üstelik bu modeller yalnızca sesi dinlemiyor; dil bilgisini de kullanıyor. “Kredi kartı ekstresi” ifadesini gürültülü bir kayıtta doğru yazabilmesinin nedeni, sesten gelenin yanına hangi kelime dizisinin olası olduğu bilgisini koyabilmesi. Mimarinin temelleri dil modelleriyle aynı aileden; eğitim aşamaları da model eğitimi yazısında anlattığımız yapıya benziyor.

Neden hâlâ hata yapıyor

• Üst üste konuşma: iki kişi aynı anda konuştuğunda model genellikle birini seçer, diğerini kaybeder. Toplantı dökümlerinin en zayıf noktası.
• Konuşmacı ayrıştırma: “kim konuştu” sorusu, “ne söylendi” sorusundan ayrı bir iş. Benzer sesler, kesintiler ve mikrofon mesafesi karıştırıyor.
• Gürültü ve yankı: klima sesi, çınlayan bir oda ya da telefon hattının sıkıştırması doğruluğu belirgin biçimde düşürür. Kayıt kalitesi, model seçiminden daha etkili.
• Aksan ve ağız: eğitim verisinde az temsil edilen aksanlarda doğruluk düşüyor. Bu, modelin değil veri dağılımının sonucu.
• Alan terimleri: ilaç adları, hukuk terimleri, ürün kodları ve özel isimler. Birçok sistem bu yüzden önceden tanımlanmış sözcük listesi verme imkânı sunuyor; işe yarıyor.
• Noktalama ve büyük harf: seste yok, tahmin ediliyor. Uzun cümlelerde nerede nokta konulacağı kararı, anlamı tamamen değiştirebiliyor.

Alt yazılardaki tuhaf hataların çoğu bu listeden çıkıyor; model “saçmalamıyor”, zayıf bir sinyalden olası bir metin kuruyor.

Gerçek zamanlı ile sonradan döküm farkı

Canlı alt yazıda model, cümlenin devamını duymadan karar vermek zorunda. Bu yüzden canlı sistemler yazdıklarını bir süre sonra geri dönüp düzeltir — ekranda kelimelerin değiştiğini görmenizin nedeni bu.

Sonradan yapılan dökümde ise modelin tüm kaydı görme imkânı var; bağlamı kullanarak baştaki belirsiz bir kelimeyi sonradan düzeltebiliyor. Aynı ses için iki yöntem arasındaki doğruluk farkı küçük değil. Bir toplantının dökümü önemliyse, canlı alt yazıya güvenmek yerine kaydı sonradan işlemek gerekiyor.

Çeviri tarafındaki ayrı zorluklar

Metni bir dilden diğerine çevirmek, kelime değiştirmekten fazlası:

1. Bağlam penceresi: cümle cümle çeviren bir sistem, bir önceki cümlede geçen özneyi bilmez. Uzun metinlerde tutarsız terim kullanımının nedeni bu.
2. Cinsiyet: Türkçe gibi dillerde zamir cinsiyet taşımaz. “O doktor” cümlesini cinsiyetli bir dile çevirirken sistem bir seçim yapmak zorunda ve bu seçim, eğitim verisindeki önyargıyı yansıtabiliyor.
3. Nezaket ve hitap: “siz” ile “sen” ayrımı, bazı dillerde karşılığı olmayan bir ayrım. Resmî bir yazışmanın tonunun kayması bu yüzden sık görülür.
4. Deyim ve kültürel atıf: birebir çeviri anlamı yok eder; iyi sistemler eşdeğer bulmaya çalışır, her zaman tutturamaz.
5. Terim tutarlılığı: kurumsal kullanımda en çok şikâyet edilen nokta. Çözüm, sisteme terim sözlüğü ve üslup kılavuzu vermek.

Konuşmadan konuşmaya çeviri

Zincir uzadıkça gecikme büyüyor: sesi tanı, metni çevir, çeviriyi seslendir. Üstelik çeviri genellikle cümlenin bitmesini beklemek zorunda, çünkü birçok dilde fiil sonda. Simültane çevirmenlerin yaptığı tahmin işini makineler de yapmaya çalışıyor; sonuç akıcı ama gecikmeli.

Seslendirme tarafı ise konuşanın kendi ses tonuyla üretilebiliyor. Bu yetenek erişilebilirlik açısından değerli, kötüye kullanım açısından riskli; ses klonlamanın nereye vardığını sentetik medya yazısında ele aldık.

Mahremiyet: kayıt nereye gidiyor

Konuşma tanıma iki yerde çalışabiliyor: cihazın içinde ya da sunucuda. Cihaz üstü tanıma, kaydın hiç çıkmaması anlamına gelir ve küçük modellerin iyileşmesiyle artık pek çok senaryoda yeterli. Sunucu tarafı daha doğru ama kaydı gönderiyorsunuz.

Toplantı, görüşme ve sağlık gibi hassas içeriklerde sorulacak sorular: ses kaydı saklanıyor mu, ne kadar süre, eğitimde kullanılıyor mu, kimler erişebiliyor? Bunların çerçevesini veri gizliliği yazısında çıkarmıştık.

Konuşma tanıma sesi harfe çevirmiyor; duyduğu belirsiz sinyale en olası cümleyi yazıyor. Hataları da buradan geliyor.