Kvalita a efektivita ruční anotace: zkreslení před-anotací

Abstrakt

Tento článek představuje analýzu anotace pomocí automatické před-anotace pro úkol anotace závislostní syntaxe. Porovnává úsilí anotátorů, kteří používají před-anotovanou verzi (s vysoce přesným parserem), a úsilí vytvořené plně ruční anotací.

Cílem experimentu je posoudit výslednou kvalitu anotace při použití před-anotace. Kromě toho hodnotí vliv automatických lingvisticky založených (pravidlově formulovaných) kontrol a jiné anotace na stejných datech, kterou mají anotátoři k dispozici, a jejich vliv na kvalitu a efektivitu anotace.

Experiment potvrdil, že pre-anotace je účinným nástrojem pro rychlejší manuální syntaktickou anotaci, která zvyšuje konzistenci výsledné anotace bez snížení její kvality.

Klíčová slova

• kvalita
• efektivita
• ruční
• anotace
• zkreslení
• před
• anotací