Evaluating AI Performance in Translating Irony and Humour: A Comparison of Human and ChatGPT's Translations of Jane Austen's Pride and Prejudice

Niniejsza praca poświęcona jest ocenie zdolności ChatGPT do oddawania humoru i ironii w przekładzie literackim na przykładzie wybranych fragmentów twórczości Jane Austen. W części teoretycznej omówiono pojęcia humoru i ironii, ich funkcje w literaturze oraz najważniejsze wyzwania związane z ich tłumaczeniem. Przedstawiono również wybrane teorie przekładu humoru oraz charakterystykę dużych modeli językowych (LLM), ze szczególnym uwzględnieniem ChatGPT i jego zastosowań w przekładzie. Część empiryczna opiera się na badaniu ankietowym dotyczącym odbioru tłumaczeń wybranych fragmentów powieści Pride and Prejudice Jane Austen zawierających elementy humoru i ironii. Przedstawiono w niej proces badawczy, zaprezentowano i omówiono wyniki ankiety oraz przeprowadzono analizę najważniejszych obserwacji i wniosków. Respondentom przedstawiono tłumaczenia wykonane przez profesjonalną tłumaczkę Anne Przedpełską-Trzeciakowską oraz tłumaczenia wygenerowane przez ChatGPT, które następnie poddano ocenie pod względem naturalności, zrozumiałości, humoru, ironii i ogólnej jakości przekładu. Wyniki badania wskazują, że zarówno tłumaczenia profesjonalne, jak i wersje wygenerowane przez ChatGPT były oceniane pozytywnie, jednak w większości przypadków uczestnicy preferowali przekłady ludzkie. Za ich główne zalety uznawano większą naturalność językową, lepsze oddanie stylu literackiego oraz skuteczniejsze przekazywanie humoru i ironii. Uzyskane wyniki stanowią wkład w badania nad zastosowaniem sztucznej inteligencji w przekładzie literackim oraz nad percepcją tłumaczeń generowanych przez modele językowe.

This thesis is devoted to evaluating ChatGPT’s ability to render humour and irony in literary translation on the basis of selected excerpts from the works of Jane Austen. The theoretical part discusses the concepts of humour and irony, their functions in literature, and the main challenges associated with their translation. It also presents selected theories of humour translation as well as the characteristics of Large Language Models (LLMs), with particular emphasis on ChatGPT and its applications in translation. The empirical part is based on a questionnaire study investigating readers’ reception of translations of selected excerpts from Jane Austen’s Pride and Prejudice containing elements of humour and irony. It presents the research process, the survey results, and an analysis of the most significant findings and conclusions. Respondents were presented with translations produced by the professional translator Anne Przedpełska-Trzeciakowska and translations generated by ChatGPT, which were subsequently evaluated in terms of naturalness, clarity, humour, irony, and overall translation quality. The findings indicate that both the professional translations and the versions generated by ChatGPT were generally evaluated positively; however, in most cases participants preferred the human translations. Their main advantages were perceived to be greater linguistic naturalness, a more effective rendering of literary style, and a better transmission of humour and irony. The results contribute to research on the application of artificial intelligence in literary translation and on the reception of translations generated by language models.