Exploring Abstract and Concrete Word Representations in Deep Language Models

Niniejsza praca bada, w jaki sposób duże modele językowe odzwierciedlają różne wymiary abstrakcji w języku. Praca wpisuje się w obszar badań pomiędzy interpretowalnością głębokich modeli sieci neuronowych a kognitywistyką. Bazując na postulatach dotychczasowych badań na temat zasady wąskiego gardła (bottleneck principle) w teorii informacji i teorii reprezentacji liniowej, stawiam hipotezę, że w dużych modelach językowych, podczas pracy z różnymi słowami i kontekstami, pojawiają się abstrakcyjne reprezentacje. Przeprowadzam badanie, w którym wypełniam gotowe szablony poleceń (promptów) dla dużego modelu językowego elementami z korpusu słów związanych z różnymi stopniami abstrakcji. Następnie porównuję aktywacje neuronów w warstwach ukrytych modelu ze zagregowanymi ocenami psycholingwistycznych wymiarów abstrakcji według norm Glasgow. Przy wykorzystaniu liniowego modelu jako sondy (technika z obszaru interpretowalnego uczenia maszynowego) pokazuję, że reprezentacje korelujące z abstrakcją mają tendencję do pojawiania się w głębszych warstwach sieci neuronowej, co wskazuje na potencjalne osadzanie się reprezentacji abstrakcji w modelu. Dodatkowo, reprezentacje te pojawiają się zależnie od rodzaju polecenia (promptu), pokazując, że reprezentacje mają związek nie tylko z samymi słowami, ale także z intencjami i kontekstem wyrażonym w szablonach. Wszystkie te spostrzeżenia sugerują, że duże modele językowe potrafią w pewien sposób reprezentować wymiary abstrakcyjne poprzez strukturę sieci i dynamikę treningu. Istnieją jednak wątpliwości dotyczące tego, do jakiego stopnia duże modele językowe są agentami poznawczymi, jako że nie mogą one być uznane za systemy ucieleśnione wchodzące w interakcje z fizycznym środowiskiem. Przyszłe badania mogą głębiej zbadać implikacje tych ustaleń dla rozwoju interoperacyjności dużych modeli językowych dotyczących ukrytych reprezentacji abstrakcji oraz tego, w jaki sposób te systemy mogą zostać użyte do badań w obszarze pojęć abstrakcyjnych.

This work investigates how abstract dimensions are represented within Large Language Models (LLMs), by bridging the gap between deep learning interpretability and cognitive science. Building on the postulates from previous studies about the Bottleneck Information Theory and Linear Representations Theory, I hypothesise that abstract representations emerge within a LLM model when dealing with varying words and contexts. The study consists of several experimental conditions where different prompt templates were filled with a corpus of words relating to different grades of abstractness. Two independent sources of information were compared: first the hidden neurons patterns dataset in the hidden layers on the LLM model when prompted with the filled templates, and second the aggregated psychological dimension scores given by participants from the Glasgow Norms study for each word. By comparing both datasets word-wise using linear probes method, a technique from mechanical interpretability, it is shown that abstract representations tend to emerge in deeper neural layers for the stronger psychological dimensions related to abstractness, pointing to a potential embedding of abstractness representations within the model. Moreover, these representations emerge depending on the task involved in the prompt conditions, showing that those representations have a relationship not only with the words but also with the intentions and context expressed in the templates. All these insights suggest that LLMs can somehow represent abstract dimensions through structural design and training dynamics. However, limitations apply to what extent LLMs are cognitive agents as they cannot be considered embodied systems interacting with a physical environment. Future research might further explore the implications of these findings for the development of interpretability of LLMs concerning abstract hidden representations, and how these systems can be used to advance the investigations in the abstract conceptualizations domain.