The test of Curriculum Learning on Large Language Models

dc.abstract.en	As the progress of Large Language Models (LLMs) is accelerating at a rate that was never experienced before, fine-tuning becomes a problem of great importance. The aim of this experiment is to see how we can use them more efficiently by leveraging a way of organizing data - training LLMs to solve easy problems at first, and raising the difficulty of tasks with time. Moreover, the research was meant to establish if this curriculum fine-tuning scales across various sizes of models and languages. To that end, a dataset of mathematical tasks was utilized. The data was split to five levels of difficulty. The base model was fine-tuned using two strategies, to examine if there is a difference between the standard, random way of fine-tuning models and the proposed curriculum. Then the outcomes of training Bielik-v3 with 1.5B and 4.5B parameters in three variants were compared on two human-created datasets. The analysis didn't show difference between the baseline and fine-tuned models. A likely reason for this was the small training dataset. Future research with more tasks could be conducted to see the learning effects and attribute the size effect to scaling between models.
dc.abstract.pl	Gdy wielkie modele językowe są rozwijane i osiągają niespotykaną dotychczas skuteczność w różnych dziedzinach, douczanie ich staje się ważnym problemem. Ten eksperyment miał na celu zbadanie jak w efektywny sposób wykorzystać dane. Uporządkowując, by uczyć model rozwiązywać najpierw proste zadania, z czasem zwiększając poziom trudności pytań. Co więcej, badanie miało pokazać czy efekt tak zorganizowanego fine-tuningu modelu skaluje się przy różnych wielkościach LLMów. W tym celu użyto datasetu matematycznych zadań, które podzielono na pięć poziomów trudności. Podstawowy model douczono na dwa sposoby, by zweryfikować różnice między standardowym, losowym podejściem z badaną metodą. Następnie porównano wyniki Bielika-v3 o liczbie parametrów 1.5 oraz 4.5 miliardów, w każdym z trzech wariantów na dwóch testowych zbiorach. Analiza nie wykazała zmiany między podstawowym modelem, a douczonymi. Prawdopodobną przyczyną tego stanu rzeczy jest zbyt mały zbiór danych. W przyszłości, można przeprowadzić dalsze badania, na większej liczbie zadań, by być w stanie zaobserwować wpływ uczenia i móc ocenić jego efekty.
dc.affiliation	Uniwersytet Warszawski
dc.affiliation.department	Wydział Psychologii
dc.contributor.author	Hendrysiak, Zofia
dc.contributor.promoter	Krajewski, Grzegorz
dc.contributor.promoter	Zadrożny, Adam
dc.contributor.reviewer	Zadrożny, Adam
dc.contributor.reviewer	Biesaga, Mikołaj
dc.date.defence	2026-01-27
dc.date.issued	2026
dc.date.submitted	2026-01-09
dc.identifier.apd	246894
dc.language	en
dc.language.other	pl
dc.publisher	Uniwersytet Warszawski
dc.rights	ClosedAccess
dc.subject.en	natural language processing
dc.subject.en	artificial intelligence cognition
dc.subject.pl	przetwarzanie języka naturalnego
dc.subject.pl	procesy poznawcze w sztucznej inteligencji
dc.title	The test of Curriculum Learning on Large Language Models
dc.title.alternative	Test uczenia przy pomocy gradacji trudności zadań na wielkich modelach językowych
dc.type	MasterThesis