Live subtitling with respeaking: technology, user expectations and quality assessment

Celem niniejszej rozprawy było zbadanie jakości napisów na żywo w polskich telewizjach informacyjnych. W związku z tym postawiono następujące pytania badawcze: (1) Czy dzięki napisom na żywo widzowie głusi i słabosłyszący mają realny dostęp do programów informacyjnych w telewizji; to znaczy, czy napisy dokładnie odzwierciedlają treść i są zrozumiałe? (2) Czy jakość napisów na żywo różni się w zależności od nadawcy? (3) Czy jakość napisów na żywo różni się od jakości napisów przygotowywanych częściowo z wyprzedzeniem (tzw. napisów semi-live)? (4) Czy jakość napisów na żywo rośnie czy maleje wraz z upływem czasu? Postawiono hipotezę, że jakość napisów semi live jest wyższa niż jakość napisów na żywo oraz że jakość napisów na żywo wzrasta z czasem, w miarę jak nadawcy nabierają doświadczenia w tworzeniu napisów na żywo. Jakość napisów na żywo i napisów semi-live przeanalizowano na podstawie próbek z 96 programów telewizyjnych z trzech polskich kanałów informacyjnych (TVP Info, Polsat News i TVN24) pochodzących z trzech kwartałów (II kw. 2021, III kw. 2021 i I kw. 2022). Łączny czas trwania wszystkich przebadanych próbek wyniósł 970 minut; zawierały one łącznie 13 620 napisów. W badaniu wykorzystano uznane mierniki jakości napisów na żywo: miarę NER (jako miarę tego, jak dokładnie napisy oddają treść wypowiedzi), opóźnienie, prędkość czytania i stopień redukcji. Zaproponowano też dwa nowe wskaźniki: miarę segmentacji oraz pomiar odstępów między napisami. Dokonano również pomiaru tempa wypowiedzi w programach telewizyjnych. Wyniki poddano analizie z wykorzystaniem metod statystycznych, w tym analizy wariancji, analizy kowariancji, korelacji i liniowych modeli mieszanych. Badanie wykazało, że jakość napisów na żywo jest dość zróżnicowana oraz różni się w zależności od nadawcy. Wyniki pokazały, że respeaking z moderacją jest skuteczną metodą tworzenia napisów na żywo w języku polskim; może być stosowany w telewizji oraz pozwala na uzyskanie zadowalającej jakości. Niemniej jednak jakość napisów na żywo do niektórych programów telewizyjnych była poniżej norm. Napisy wymagały od widzów zbyt dużej prędkości czytania, były bardzo opóźnione, niedokładne, a czasami niezrozumiałe. Badanie potwierdziło, że napisy przygotowywane częściowo z wyprzedzeniem mają lepszą jakość niż napisy przygotowywane w pełni na żywo. Jednak w przypadku wszystkich trzech telewizji informacyjnych jakość zarówno napisów na żywo, jak i napisów semi-live pogorszyła się w badanym okresie. W skali 10-punktowej, w ciągu trzech kwartałów objętych badaniem, dokładność napisów na żywo spadła z akceptowalnego poziomu 5/10 do poziomu nieakceptowalnego 2/10, zarówno w przypadku TVP Info, jak i Polsat News. TVN24 pozostała poza skalą z wynikiem 0/10. Zwiększyło się opóźnienie napisów, prędkość czytania oraz liczba błędów w podziale tekstu. Niniejsze opracowanie, będące kompleksowym przeglądem wielu aspektów jakości napisów na żywo w polskich telewizjach informacyjnych, może być pierwszym krokiem w kierunku regularnego monitorowania jakości napisów na żywo w polskiej telewizji.

The objective of this dissertation was to investigate the quality of live subtitling in Polish on news TV channels. The following research questions have been posed: (1) Do the deaf and the hard of hearing viewers have effective access to news television thanks to live subtitling, that is, whether subtitles reflect the content accurately and are intelligible? (2) Does the quality of live subtitling differ between broadcasters? (3) Does the quality differ between live subtitling and semi-live subtitling? (4) Does the quality increase or decrease over time? It was hypothesised that semi-live subtitling delivers better quality than live subtitling and that the quality of live subtitling is increasing over time as broadcasters gain more experience in providing live subtitles. The quality of live and semi-live subtitles was analysed based on samples collected from 96 TV shows from three Polish news TV channels (TVP Info, Polsat News and TVN24) across three quarters (Q2 2021, Q3 2021 and Q1 2022). The total duration of all samples was 970 minutes and they included 13,620 subtitles. The study used established metrics of live subtitling quality: NER score (as a measure of accuracy), latency, subtitle speed and reduction rate. Two new metrics were proposed as well: segmentation score and gaps between consecutive subtitles. The speech rate in the subtitled TV shows was also measured. The results were analysed with various statistical methods including analysis of variance, analysis of covariance, correlation and linear mixed models. The study has found that the quality of live subtitling is quite diverse and varies between broadcasters. While the results have shown that respeaking with parallel correction is an effective method of creating live subtitles in Polish and it can be used in the broadcasting settings to obtain acceptable quality results, live subtitles for some of the TV shows had substandard quality. The subtitles were presented at excessive subtitle speeds and with high latency, Also, they were inaccurate and at times unintelligible. The study has confirmed that semi-live subtitling produces better quality results than live subtitling. However, the quality of both live and semi-live subtitling is decreasing over time in the case of all three news TV channels. On a 10-point scale, across the three quarters analysed in the study, the accuracy of live subtitling has decreased from acceptable 5/10 to substandard 2/10 for both TVP Info and Polsat News, while it has stayed at 0/10 in the case of TVN24. The latency has increased; so have the subtitle speeds as well as the number of text segmentation errors. As a comprehensive review of multiple dimensions of live subtitling quality on Polish news TV channels, the study may be the first step towards a regular monitoring of the quality of live subtitling on Polish TV.