Do Large Language Models have theories of mind? The challenges for machine psychology as a new paradigm for research on the emergent properties of Large Language Models

Praca licencjacka bada koncepcję teorii umysłu (ToM) w dużych modelach językowych (LLM), porównując jej przejawy u ludzi i maszyn, jednocześnie osadzając dyskusję zarówno w dawnych, jak i współczesnych badaniach. Koncentrując się na psychologii maszynowej, artykuł zagłębia się w emergentne zdolności dużych modeli jezykowych, ze szczególnym naciskiem na ToM, która może potencjalnie zwiększyć wydajność, spójność i koherencję modeli. Rozdział 1. omawia, jak ToM jest zwykle badana za pomocą testów fałszywych przekonań, które zostały zaprojektowane dla ludzi, ale są również wykorzystywane w psychologii maszynowej. Rozdział wyjaśnia, w jaki sposób proste zmiany w teście nie stwarzają żadnych problemów dla ludzi, ale mogą powodować porażkę dużego modelu językowego. Zaznaczone zostaje także, że ToM w maszynach może być obecnie iluzją. Rozdział 2. czerpie inspirację z prac Ullmana (2023) i Kosinskiego (2024). Badanie Ullmana wykazało, że niewielkie modyfikacje zadań ToM, które są trywialne dla ludzi, mogą sprawiać znaczące trudności dużym modelom językowym. Przykładem jest zadanie Niespodziewanego Przeniesienia, w którym wprowadzenie przezroczystych pojemników doprowadziło do nieprawidłowych odpowiedzi modelu. Kosinski zasugerował, że niepowodzenie to może wynikać z niezrozumienia przez model pojęcia przezroczystości, co stanowi motywację do dalszych badań eksperymentalnych nad tym, jak można sprawić, by LLM rozumiały takie pojęcia. Badanie stanowiące sedno pracy licencjackiej sprawdza, czy dostarczenie LLM definicji kluczowych pojęć może poprawić wyniki modeli w zadaniach ToM. Postawiono hipotezę, że poprzez zdefiniowanie pojęcia lub przedstawienie go w kontekście, wyniki modelu powinny ulec poprawie. Wyniki pokazały, że GPT-3.5-turbo wykonał doskonale lub prawie doskonale 62,5% zadań, nawet bez dodatkowych definicji. Z powodu różnorodnych wyników i problemów z metodologią, pozostaje kwestią nierozstrzygniętą, czy dostarczanie definicji poprawia wydajność modelu. Wspomniane problemy z metodologią obejmują rozwinięcia odpowiedzi modeli, które pokazały brak prawidłowego wnioskowania lub zrozumienia przedstawionej sytuacji, pomimo pozornie prawidłowych odpowiedzi. Pracę licencjacką zamyka dyskusja na temat innych kluczowych aspektów ToM, takich jak różnice w ewolucji językowej między ludźmi a maszynami, a także dyskusja na temat kompetencji językowych, podkreślająca złożoność i obecne ograniczenia badań ToM w LLM.

The Bachelor's Thesis investigates the concept of Theory of Mind (ToM) within Large Language Models (LLMs), comparing its manifestations in humans and machines while situating the discussion in both historical and contemporary research. Focusing on machine psychology, the paper delves into emergent abilities in LLMs, with particular emphasis on ToM, which has potential to enhance model efficiency, consistency, and coherence. Chapter 1. introduces how ToM is typically assessed using False Belief tests, which are designed for humans but are also used in machine psychology. It explains how simple alterations to the test do not pose any problems to humans but can cause LLMs to fail. The chapter also raises the possibility that ToM in machines might currently be an illusion. Chapter 2. draws inspiration from the works of Ullman (2023) and Kosinski (2024). Ullman's study highlighted that slight modifications to ToM tasks, which are trivial for humans, can cause significant failures in LLMs. An example is the Unexpected Transfer task, where the introduction of transparent containers led to the model's incorrect responses. Kosinski suggested that this failure might stem from the model's lack of comprehension of transparency, motivating further experimental investigation into how LLMs can be made to understand such concepts. The study at the heart of this thesis examines whether providing LLMs with definitions of crucial concepts can improve their performance on ToM tasks. By defining a concept or presenting it in context, the thesis hypothesizes that LLMs might perform better. Results showed that GPT-3.5-turbo performed perfectly or near-perfectly on 62.5% of the tasks even without additional definitions. However, it remains unclear whether providing definitions consistently improves performance due to varying influences on different models and methodological issues. These issues include the models' elaborations on their answers, which can reveal a lack of rational reasoning or understanding of the scenario despite seemingly correct answers. The thesis concludes with a discussion on other crucial aspects of ToM, such as the differences in language evolution between humans and machines, or language competences, highlighting the complexity and current limitations of assessing ToM in LLMs.