Publikace na Matematicko-fyzikální fakulta |
2021
Abstrakt
Tento článek popisuje náš účastnický systém ve úloze Explainable quality estimation of 2nd Workshop on Evaluation & Comparison of NLP Systems. Úkolem odhadu kvality (QE, neboli bezreferenční hodnocení) je předpovídat kvalitu výstupu MT v čase odvození bez přístupu k referenčním překladům. V této navrhované práci nejprve vytvoříme model odhadu kvality na úrovni slov a poté tento model doladíme pro QE na úrovni vět.
Námi navržené modely dosahují téměř nejmodernějších výsledků. V QE na úrovni slov se umístíme na 2. a 3. místě v testovaných sadách Ro-En a Et-En pod dohledem.
V QE na úrovni vět dosahujeme relativního zlepšení 8,86% (Ro-En) a 10,6% (Et-En) ve smyslu Pearsonova korelačního koeficientu oproti základnímu modelu.