Can AI replace subtitlers? A comparative analysis of Polish and English automatic vs. professional subtitles for the Spanish series La Casa de Papel

Celem niniejszej pracy jest porównanie jakości automatycznie wygenerowanych napisów w programie Matesub z profesjonalnymi napisami z Netfliksa do hiszpańskiego serialu „Dom z papieru”. W pierwszym rozdziale wyjaśniono charakterystykę profesjonalnych napisów oraz wytyczne napisów ustanowione dla platformy Netflix. Rozdział drugi skupia się na procesach automatyzacji w tworzeniu napisów, m. in. takich jak automatyczne rozpoznawanie mowy czy tłumaczenie maszynowe. Dodatkowo przedstawia wytyczne do oceny jakości tłumaczenia maszynowego. Ostatni rozdział poświęcony jest analizie porównawczej profesjonalnych i automatycznych napisów w przekładzie z hiszpańskiego na język polski i angielski. Analiza wykazała, że napisy automatycznie wygenerowane znacznie odbiegają jakością od profesjonalnych napisów, zarówno pod względem parametrów technicznych, jak i tłumaczenia maszynowego. Program Matesub, wykorzystujący technologię sztucznej inteligencji, popełnia błędy na etapie automatycznego rozpoznawania mowy, jak i na późniejszym etapie automatycznego tłumaczenia na języki obce.

The purpose of this paper is to compare the quality of automatically generated subtitles by the Matesub program with professional Netflix subtitles for the Spanish series Money Heist. The first chapter covers the characteristics of professional subtitles, and explains the Netflix subtitling guidelines for Spanish, Polish and English subtitles. The second chapter focuses on automation processes in subtitling, such as automatic speech recognition and machine translation, among others. Further, there are presente guidelines for evaluating the quality of machine translation. The last chapter is devoted to a comparative analysis of professional and automatic Spanish-to-Polish and Spanish-to-English subtitles. The analysis shows that automatically generated subtitles differ significantly in quality from professional subtitles, both in terms of technical parameters and machine translation. The Matesub program, which employs artificial intelligence, commits errors at the stage of automatic speech recognition, as well as at the subsequent stage of machine translation, that includes errors such as mistranslation, omission, or punctuation errors.