The role of ChatGPT in creating reading comprehension tests in English language teaching

W niniejszej pracy zbadana została rola ChatuGPT w tworzeniu testów na czytanie ze zrozumieniem do nauczania języka angielskiego. Opierając się na ostatnich postępach w dziedzinie sztucznej inteligencji, w ramach teoretycznych omówiono potencjalne zastosowania w nauce języków obcych oraz konkretne korzyści i wyzwania związane z technologią chatbotów. Analizie poddano również proces konstrukcji testów na czytanie ze zrozumieniem, z wyszczególnieniem różnych taksonomii typów rozumienia. W części empirycznej przedstawiono badanie mające na celu ocenę skuteczności ChatuGPT w generowaniu testów na czytanie ze zrozumieniem. Zawarto w niej prezentację procesu badawczego, opis ośmiu wykresów przedstawiających najważniejsze wyniki oraz analizę kluczowych ustaleń. Odkryto, że pytania wygenerowane przez ChatGPT postrzegane są przez nauczycieli i uczniów jako mniej złożone i wymagające niż pytania stworzone przez ekspertów z Uniwersytetu Cambridge, ale jednocześnie uznane zostały za adekwatne dla wskazanego poziomu językowego. Uzyskane wyniki mogą być wykorzystane do badań nad metodami zwiększenia występowania różnorodnych typów rozumienia oraz odpowiedniego słownictwa w testach generowanych przez ChatGPT.

This paper intends to examine the role of ChatGPT in creating reading comprehension tests for English language teaching. Based on recent advancements in artificial intelligence, the theoretical framework discusses the potential applications of chatbots in foreign language learning, as well as the specific benefits and challenges associated with their technology. It also investigates the process of constructing reading comprehension tests, focusing on various taxonomies of comprehension types. The empirical section presents a study aimed at assessing the effectiveness of ChatGPT in generating reading comprehension tests. This section includes a presentation of the research process, a description of eight charts depicting key results, and an analysis of the principal findings. It was discovered that questions generated by ChatGPT were perceived by teachers and students as less complex and demanding than those created by experts from the University of Cambridge, yet they were still considered appropriate for the specified language proficiency level. The obtained results may be utilized for research on methods to increase the occurrence of diverse comprehension types and appropriate vocabulary in tests generated by ChatGPT.