TurkMorfBench

Dil modellerinin Türkçe morfoloji yetkinliğini ölçen kıyas. eCloud Tech. tarafından geliştirilir.

0.0.1 — ad rezervasyonu. Kıyasın kendisi hazırlanıyor. Bu sürüm yalnız paket adını tutar ve proje durumunu bildirir; ölçüm yapmaz.

Ne ölçüyor

Ünlü uyumu, ünsüz benzeşmesi, ünsüz yumuşaması, kaynaştırma, ünlü düşmesi, ünsüz ikizleşmesi, uyum kırıcı alıntılar, birleşik isimler, kısaltma ve sayı ekleri; ad çekimi, fiil çekimi, yapım ekleri, çatı; ek sırası ve ek zinciri derinliği. Gerçek gövdelerin yanında uydurma (wug) gövdeler — model kuralı mı biliyor yoksa biçimleri mi ezberlemiş, ayırt etmek için.

Çıktı tek bir puan değil teşhis raporu: hangi ses ortamında, hangi istisna sınıfında, hangi zincir derinliğinde düşüyor ve gövdeyi tokenizer nasıl parçalamış.

Altın veri nereden gelir

Kural motorundan. Keyfi kelime çözümlenmez; altını inşadan belli olan madde üretilir. Açık Türkçe morfolojik çözümleyicilerin doğruluğu %38–72 aralığında ölçülmüştür; böyle bir araç altın kaynak olamaz. Dil modelleri yalnız aday ve çeldirici önerir, zorluk ayarında kullanılır — altın cevap hiçbir aşamada bir dil modelinden gelmez.

Lisans

Kod Apache-2.0, veri kümesi CC BY 4.0.