Named Entity Recognition - Is There a Glass Ceiling?

Publikacja przedstawia analizę słabych i silnych stron modeli SOTA (ang. “state-of-the-art”) dla problemu wykrywania jednostek nazwanych (ang. “Named Entity Recognition”). Dzięki takiej analizie wiemy, które z modeli działają lepiej w jakim kontekście (typie problemu). Dodatkowo, przygotowany został zestaw zbiorów diagnostycznych, które pozwalają na określenie czy wytrenowany model jest odporny na specyficzny typ problemu.

Recent developments in Named Entity Recognition (NER) have resulted in better and better models. However, is there a glass ceiling? Do we know which types of errors are still hard or even impossible to correct? In this paper, we present a detailed analysis of the types of errors in state-of-the-art machine learning (ML) methods. Our study illustrates the weak and strong points of the Stanford, CMU, FLAIR, ELMO and BERT models, as well as their shared limitations. We also introduce new techniques for improving annotation, training process, and for checking model quality and stability.