The Role of Automated Writing Evaluation Tools in Teaching English as a Foreign Language

Niniejsza praca jest poświęcona badaniu roli narzędzi Automatycznych Systemów Oceniania na podstawie Grammarly w nauczaniu języka angielskiego jako języka obcego. Celem pracy jest zbadanie dokładności wykrywania błędów przez narzędzie do sprawdzania gramatyki Grammarly oraz dokładność sugerowanej korekty błędów przez Grammarly. Na podstawie badania będzie można ocenić czy system ten jest na tyle zaawansowany i rozwinięty by uczniowie mogli z niego sami korzystać ucząc się języka angielskiego. Podstawy teoretyczne i metodologiczne badania są adaptacją treści pracy Mariny Dodigovic i Artaka Tovmasyana “Automated Writing Evaluation: The Accuracy of Grammarly’s Feedback on Form”. Badanie w tej pracy obejmuje analizę 87 tekstów, które były sprawdzone przez jednego nauczyciela języka angielskiego oraz oddzielnie przez system Grammarly. Następnie wyniki były ze sobą porównane pod kątem dokładności wykrywania błędów oraz proponowanych korekt. Dzięki porównaniu zostały wyciągnięte wnioski co do dokładności systemu Grammarly. Wyniki potwierdzają wnioski uzyskane przez Marinę Dodigovic i Artaka Tovmasyana, według których uczniowie powinni korzystać z Grammarly ze wsparciem nauczyciela, który byłby w stanie zweryfikować komentarz Grammarly.

This thesis is dedicated to exploring the role of Automated Writing Evaluation tools on the example of Grammarly in teaching English as a foreign language. The purpose of the study is to investigate the accuracy of error detection by Grammarly's grammar checker tool and the accuracy of suggested error correction by Grammarly. Based on the study, it will be possible to assess whether the system is advanced and developed enough for students to use it themselves when learning English. The theoretical and methodological basis of the study is an adaptation of the content of Marina Dodigovic and Artak Tovmasyan's paper “Automated Writing Evaluation: the Accuracy of Grammarly's Feedback on Form.” The study in this work includes an analysis of 87 texts that were checked by one English teacher and separately by the Grammarly’s system. The results were then compared with each other in terms of the accuracy of error detection and suggested corrections. Through the comparison, conclusions were drawn about the accuracy of the Grammarly system. The results support the conclusions reached by Marina Dodigovic and Artak Tovmasyan, according to which students should use Grammarly with the support of a teacher who would be able to verify the Grammarly feedback.