Trénovatelný tokenizér

Abstrakt

Trénovatelný tokenizér je schopen tokenizovat a segmentovat většinu jazyků na základě dodané konfigurace a ukázkových dat. Není určen pro jazyky bez jasně odlišených slov, jako je např. čínština.

Klíčová slova

• trénovatelný
• tokenizér