Abstrakt
Tento článek představuje přehled výsledků soutěže (společné úlohy) ve vícejazyčné automatické analýze koreference, která byla p řidružená k workshopu CRAC 2022. Účastníci soutěže měli vyvinout trénovatelné systémy schopné identifikovat zmínky o entitách a shlukovat tyto zmínky na základě identické koreference. Jako zdroj trénovacích a vyhodnocovacích dat byla použita veřejná část CorefUD 1.0, která obsahuje 13 korpusů pro 10 jazyků.
Jako hlavní vyhodnocovací metrika bylo použito skóre CoNLL, které se používalo v dřívějších soutěžích zaměřených na koreferenci. 5 účastnických týmů vyvinulo celkem 8 systémů na predikci koreference; kromě toho jsou k dispozici výsledky baseline systému, který je založen na transformerech a byl poskytnut organizátory na začátku soutěže. Vítězný systém překonal baseline o 12 procentních bodů (průměr CoNLL skóre přes korpusy jednotlivých jazyků).