Comparative Analysis of Machine-Translated and Professional Subtitles in TED’s YouTube Educational Video: A Reception Study

Dynamiczny rozwój technologii oraz rosnące zapotrzebowanie na treści audiowizualne przyczyniły się do wzrostu wykorzystania tłumaczenia maszynowego w napisach. Pomimo znaczących postępów w tej dziedzinie, nadal istnieją wątpliwości dotyczące jakości napisów tłumaczonych maszynowo oraz ich odbioru przez widzów. Niniejsza praca ma na celu zbadać różnice między napisami tłumaczonymi maszynowo a tłumaczonymi profesjonalnie, a także przeanalizować, w jaki sposób różnice te wpływają na ocenę jakości napisów oraz zrozumienie treści przez widzów. Praca łączy porównawczą analizę napisów z badaniem odbioru przez widzów. Przeanalizowano dwie polskie wersje napisów w filmie na kanale TED-Ed na YouTube: jedną wygenerowaną za pomocą tłumaczenia maszynowego, drugą stworzoną przez tłumaczy uczestniczących w programie TED Translators. Napisy porównano przy użyciu modelu Multidimensional Quality Metrics (MQM), który umożliwił identyfikację błędów związanych z dokładnością, konwencjami językowymi, terminologią i stylem. Następnie przeprowadzono ankietę internetową z udziałem 100 respondentów w celu zbadania zdolności widzów do odróżnienia napisów przetłumaczonych maszynowo od napisów przetłumaczonych profesjonalnie oraz w celu oceny ich jakości. Wykazano, że napisy przetłumaczone maszynowo zawierały więcej błędów językowych i technicznych niż napisy przetłumaczone profesjonalnie. Mimo to większość uczestników badania nie była w stanie poprawnie wskazać sposobu przetłumaczenia napisów. Chociaż napisy przetłumaczone profesjonalnie uzyskały wyższe oceny jakości i nieco lepsze wyniki w zakresie zrozumienia, różnice w ocenach tych dwóch rodzajów napisów były stosunkowo niewielkie. Wyniki sugerują, że napisy przetłumaczone maszynowo mogą być wystarczające dla wielu widzów, pomimo ich niższej jakości w porównaniu z napisami profesjonalnymi. Praca przyczynia się do trwającej dyskusji na temat roli automatyzacji w tłumaczeniu audiowizualnym.

The rapid development of translation technologies and the growing demand for audiovisual content worldwide have increased the use of machine translation in subtitling. Despite significant advances, doubts remain regarding the quality of machine-translated subtitles and their reception by viewers. This thesis investigates the differences between machine-translated and professionally translated subtitles and examines how these differences influence viewers’ perception, quality assessment, and comprehension. The study combines a comparative subtitle analysis with audience reception research. Two Polish subtitle versions of a TED-Ed educational video available on YouTube were analysed: one generated automatically through machine translation and the other created by translators participating in the TED Translators programme. The subtitles were compared using the Multidimensional Quality Metrics (MQM) framework, which enabled the identification of errors related to accuracy, linguistic conventions, style, terminology, and design. Subsequently, an online survey involving 100 respondents was conducted to investigate viewers’ ability to distinguish machine-translated from professionally translated subtitles and to evaluate their quality. The findings indicate that machine-translated subtitles contained more linguistic and technical errors than professionally translated subtitles. However, most respondents were unable to correctly identify the translation mode of the subtitles they had watched. Although professionally translated subtitles received higher quality ratings and resulted in slightly higher comprehension scores, the score differences between the two subtitle modes were relatively small. The results suggest that machine translation can produce subtitles that are sufficient for many viewers, despite their lower quality compared to professional subtitles. The study contributes to the ongoing discussion on the role of automation in audiovisual translation.