Permainan kata membutuhkan lebih dari sekadar daftar string yang sah. Ia perlu mengatakan apa yang masing-masing berarti, dan makna adalah hal tersulit untuk disimpan.
WordChess dimainkan di papan 25×25 dengan 148,941-kata Inggris kamus6, entri rata-rata 8,6 huruf, beberapa mencapai 25. Itu bagian yang mudah. Daftar kata yang sah hanyalah kumpulan string yang akan diterima permainan. Bagian yang menarik adalah memberitahu pemain apa arti string di papan berarti, dan melakukannya di dua puluh dua bahasa sekaligus.
Leksikografer menarik garis tegas antara lemma dan bentuk-bentuk infleksinya. Lemma adalah kata dasar yang Anda cari, run, house, be. Di sekelilingnya mengorbit paradigma bentuk permukaan: runs, ran, running. Masing-masing membawa makna inti yang sama, berdandan untuk peran gramatikal yang berbeda.3 Kamus menghabiskan prosanya pada lemma dan membiarkan bayang-bayang untuk menunjukkan jalan pulang.
Berapa banyak bayangan yang diayunkan oleh sebuah kata bergantung pada bahasanya. Bahasa Inggris bersifat analitik: ia mengandalkan urutan kata dan sedikit kata bantu, sehingga sebuah kata kerja jarang memiliki lebih dari segelintir bentuk. Bahasa Finlandia bersifat aglutinatif, ia membangun makna dengan menempelkan akhiran pada batang kata. Sebuah kata benda Finlandia tunggal menekend untuk sekitar lima belas kasus, dalam bentuk tunggal dan jamak, sebelum akhiran posesif dan klitik bertumpuk di atasnya; jumlah praktis bentuk-bentuk yang berbeda mencapai ribuan.4 Hungarian memuat seluruh frasa bahasa Inggris, in my house, ke dalam satu kata, házamban.5
Definisi berasal dari Wiktionary, kamus bebas yang dapat diedit oleh siapa pun. Ia sangat besar dan multibahasa: proyek ini mencakup lebih dari seratus edisi bahasa aktif dan puluhan juta entri, ditulis secara kolaboratif oleh sukarelawan alih-alih dewan editorial berbayar.1 Bagi sebuah permainan yang berjalan dalam 22 bahasa, tidak ada leksikon bebas lain yang mendekati cakupan tersebut.
Tetapi cakupan di atas kertas bukanlah cakupan yang dapat Anda bacakan. Wiktionary menyimpan bentuk-bentuk flektif dengan cara yang menghemat editor manusia dari menulis glos yang sama sepuluh ribu kali. Alih-alih menjabarkan definisi, entri non-lemma membawa templat bentuk, penunjuk kecil yang pada dasarnya mengatakan, "ini adalah bentuk gramatikal tertentu dari lemma itu."2 Entri untuk smoulders bukan prosa; melainkan sebuah templat yang dirender sebagai "bentuk ketiga orang tunggal simple present dari smoulder."1
Penunjuk-penunjuk ini bukan kesalahan pembulatan. Di Wiktionary Inggris, dari sekitar 1,27 juta definisi, sekitar 478.000, jauh lebih dari sepertiga, adalah definisi "bentuk dari" alih-alih makna yang ditulis secara lengkap.1 Datanya ada. Hanya saja dilipat.
Jadi, tantangan yang penting bukanlah "kata tersebut hilang." Melainkan bahwa makna kata tersebut tersembunyi di dalam templat yang akan dibuang oleh parser naif. Definisi-definisi WordChess dibangun dengan membaca dump Wiktionary mentah dan mengembangkan templat infleksi bahasa per bahasa, mengajarkan parser arti setiap penunjuk dan menulisnya ulang menjadi glosa yang sederhana.6
Setiap bahasa menyembunyikan bentuk-bentuknya di balik mekanisme yang berbeda. Bahasa Spanyol menyembunyikan bentuk kata kerja di balik {{forma verbo}}, yang dipecah menjadi "bentuk verbal dari X." Bahasa Jerman menggunakan {{Grundformverweis Dekl/Konj}} untuk bentuk-bentuk yang dideklinasi dan dikonjugasi. Bahasa Finlandia mengandalkan {{taivutusmuoto}}. Bahasa Rusia sering kali tidak menyimpan templat bentuk sama sekali, kata yang mengalami infleksi adalah sebuah pengalihan (собаки → собака) yang harus diikuti untuk memulihkan glosa "bentuk dari".6 Tangani setiap konvensi, dan cakupan melonjak.
| Bahasa | Sebelum | Setelah | Peningkatan |
|---|---|---|---|
| Jerman | 45% | 92% | +47 |
| Belanda | 58% | 90% | +32 |
| Finlandia | 54% | 74% | +20 |
| Rusia | 20% | 70% | +50 |
| Yunani | 15% | 57% | +42 |
Diukur dari catatan desain dan pembangunan proyek ini. Persentase adalah bagian dari entri kamus yang memiliki definisi yang dapat digunakan atau glosa "bentuk dari" yang telah diselesaikan.
Datanya tidak pernah hilang. Ia dilipat ke dalam penunjuk, dan memberi kata kepada mesin berarti belajar untuk membukanya.
Penting untuk jujur tentang apa yang kini dipegang oleh permainan ini. Ketika WordChess menunjukkan bahwa собаки adalah bentuk dari собака, "anjing," ia tidak memahami apa pun. Ia telah memetakan satu string ke string lain, sebuah glosa, dengan mengikuti penunjuk yang sama yang ditinggalkan oleh editor manusia. Ini adalah lemmatization, kuda pekerja dari pemrosesan bahasa alami: mengurangi bentuk permukaan ke bentuk dasarnya agar mesin memiliki lebih sedikit hal berbeda untuk dilacak.7
Itu adalah jenis pengetahuan yang nyata dan berguna. Hal ini memungkinkan permainan menjawab "apa kata ini?" di Athena atau Amsterdam tanpa perlu leksikografer di staf. Namun, ini adalah pengetahuan-sebagai-pencarian, bukan pengetahuan-sebagai-makna. Glosa adalah janji bahwa seseorang, saat membacanya, akan mengenali kata tersebut. Mesin memegang janji itu; pembaca yang menyediakan maknanya.
Beberapa bahasa mencapai batas yang tidak dapat diangkat oleh parser mana pun, karena datanya memang tidak ada untuk dikembangkan. Entri bahasa Hungaria sering kali hanya membawa etimologi dan tabel terjemahan, tanpa teks definisi sama sekali, sehingga bahkan pembaca yang sempurna pun pulang dengan tangan kosong. Kasus-kasus tersulit berkumpul di tempat linguistiknya paling sulit: bahasa aglutinatif seperti Finlandia dan Hungaria, yang menghasilkan paradigma yang sangat besar, serta skrip Kiril dan Yunani, di mana cakupan komunitas lebih tipis sejak awal. Yunani naik dari 15% menjadi 57%; fakta bahwa ia berhenti jauh di bawah 92% bahasa Jerman adalah fakta tentang sumbernya, bukan kodenya. 6