Ocena wypracowań z języka polskiego z użyciem polskiego dużego modelu językowego Bielik

Rozwój technologii dużych modeli językowych spowodował wzrost zainteresowania wykorzy- staniem ich do różnorodnych zadań. Niniejsza praca eksploruje możliwości polskiego dużego modelu językowego Bielik w dziedzinie automatycznej oceny wypracowań. W przeprowadzo- nym przeze mnie eksperymencie wspomniany model oceniał wypracowania uczniów ósmej klasy szkoły podstawowej pochodzące z państwowego egzaminu kończącego naukę na po- ziomie podstawowym w Polsce. W celu zbadania skuteczności Bielika w zadaniu ewaluacji prac pisemnych porównano zgodność przypisanych przez niego ocen z tymi przydzielonymi przez nauczycieli–egzaminatorów. Najwyższy osiągnięty w badaniu poziom zgodności to zgod- ność umiarkowana. Z oceną wypracowania ściśle związane jest również zapewnienie informacji zwrotnej na temat wykonanego zadania, która jest jedną z najskuteczniejszych metod wywie- raniawpływunapostępwnauce.Weksperymenciewykazałem,żepolskidużymodeljęzykowy jest w stanie konsekwentnie generować informację zwrotną zgodną z modelem zaproponowa- nym przez badaczy Hattie i Timperley (2007). W pracy przebadano również skuteczność opisanych w literaturze strategii promptowania, czyli tworzenia instrukcji dla LLM-u.

The development of large language model technology has led to a growing interest in using them for a variety of tasks. This paper explores the capabilities of the Polish large language model Bielik in the field of automatic essay grading. In my experiment, the model assessed essays written by eighth-grade primary school students from the final exam at the primary level in Poland. To test Bielik's effectiveness in evaluating written essays, the agreement between the grades it assigned and those assigned by the teacher-examiners was compared. The highest level of agreement achieved in the study was moderate. Essay assessment is closely linked to providing feedback on completed tasks, which is one of the most effective methods of influencing academic progress. In this experiment, I demonstrated that the Polish Large Language Model (LLM) is capable of consistently generating feedback consistent with the model proposed by Hattie and Timperley (2007). The study also examined the effectiveness of prompting strategies described in the literature, i.e., creating instructions for the LLM.