Can Large Language Models Leverage Relational World Knowledge to Resolve Quantifier Scope Ambiguities?

Problem określenia zakresu kwantyfikatora dotyczy prawidłowej interpretacji zdań zawierających dwa lub więcej wyrażeń kwantyfikatorowych, takich jak „każdy chłopiec” lub „pewna dziewczynka”. Do tej pory w tej dziedzinie wyróżniono dwa główne modele interpretacji zdań. Pierwszy, dominujący do niedawna, określany jako „Algorithmic first”, podkreślał znaczenie klasycznych predyktorów zakresu, takich jak funkcja gramatyczna danego wyrażenia w zdaniu, liniowa kolejność wyrażeń czy leksykalna realizacja kwantyfikatorów w zdaniu (Anderbois i in., 2012; Higgins i Sadock, 2003; Manshadi i Allen, 2011). Drugi model, określany jako „Heuristic first”, dotyczył stosowania prostych heurystyk opartych na wiedzy o świecie, w tym wiedzy o znaczeniu konkretnych wyrażeń. (Grudzińska i in., 2023; Leczkowski i in., 2022; Tsiolis, 2020) Poprzednie badania pokazują, że duże modele językowe bardzo dobrze radzą sobie z zadaniem określenia zakresu kwantyfikatora, a także wskazują na ich potencjalną zdolność do wykorzystywania wiedzy o świecie. (Kamath i in., 2024). W mojej pracy przedstawię badanie, którego celem jest sprawdzenie, czy duże modele językowe wykorzystują wiedzę o świecie przy ocenie zakresu kwantyfikatorów. W tym celu wykorzystany został istniejący korpus (Kamath i in., 2024) składający się ze zdań zawierających dwa wyrażenia kwantyfikatorowe. Z tego korpusu wybrano zdania zawierające tylko kwantyfikator egzystencjalny i uniwersalny, ale niezawierające dwóch identycznych kwantyfikatorów. Następnie zbiór danych rozszerzono tak, aby po podzieleniu zdań według kolejności występowania kwantyfikatorów w zdaniu, typu kwantyfikatora (uniwersalny/egzystencjalny) oraz zasięgu kwantyfikatora, poszczególne klasy były równe pod względem liczby. W rezultacie model językowy nie będzie w stanie wykorzystać niektórych klasycznych predyktorów zasięgu. Jeśli model dobrze radzi sobie z zadaniem określenia zasięgu kwantyfikatorów w skonstruowanym korpusie, może to oznaczać, że klasyczne predyktory mogą nie być istotne dla modelu podczas interpretacji zdań. Dodatkowo korpus został oznaczony pod kątem leksykalizacji kwantyfikatorów występujących w zdaniu, a także pod kątem relacji między kwantyfikowanymi bytami, w celu dalszej analizy. Wyniki mojego eksperymentu pokazały, że ChatGPT-4 bardzo dobrze radzi sobie ze zbalansowanym zbiorem, poprawnie rozpoznając 91% zdań, co sugeruje, że klasyczne predyktory mogą nie być istotną wskazówką dla modelu przy określaniu zasięgu kwantyfikatorów. Dodatkowo przeprowadzono analizę statystyczną wpływu leksykalizacji kwantyfikatorów i relacji między bytami kwantyfikowanymi na określenie zasięgu kwantyfikatorów, której wyniki nie podważają możliwości wykorzystania wiedzy o świecie przy określaniu zasięgu kwantyfikatorów przez model językowy.

The problem of determining the scope of a quantifier is an issue concerning the correct interpretation of sentences containing two or more quantifier expressions, such as every boy or a girl. So far, two major models of interpreting sentences have been distinguished in this field. The first, dominant until recently, referred to as Algorithmic first, emphasized the importance of classical predictors of scope, such as the grammatical function of a given expression in the sentence, the linear order of expressions, or the lexical realization of quantifiers in the sentence. (Anderbois et al., 2012; Higgins & Sadock, 2003; Manshadi & Allen, 2011). The second model, referred to as Heuristic first, concerned the use of simple heuristics based on knowledge about the world, including knowledge about the meaning of specific expressions. (Grudzińska et al., 2023; Leczkowski et al., 2022; Tsiolis, 2020) Previous studies show that large language models cope very well with the task of resolving the scope of a quantifier, and also indicate their possible ability to use knowledge about the world. (Kamath et al., 2024). In my thesis, I will present a study that aims to check whether LLMs use knowledge about the world when assessing the scope of quantifiers. For this purpose, an existing corpus (Kamath et al., 2024) consisting of sentences containing two quantifier expressions was used. From this corpus, sentences containing only an existential and universal quantifier were selected, but not containing two identical quantifiers. Then, the dataset was expanded so that after dividing the sentences according to the order of occurrence of quantifiers in the sentence, the type of the quantifier (universal/existential), and the scope that a given quantifier takes, the individual classes were equal in number. As a result, the language model will not be able to use some of the classic scope predictors. If the model copes well with the task of resolving the scope of quantifiers in the constructed corpus, it might mean that classic predictors may not be important for the model when interpreting sentences. Additionally, the corpus was marked with respect to the lexicalization of quantifiers occurring in the sentence, as well as with respect to the relations between quantified entities, for further analysis. The results of my experiment showed that ChatGPT-4 copes very well with the balanced set, correctly recognizing 91% of sentences, which suggests that classic predictors may not be an important cue for the model when determining quantifier range. Additionally, a statistical analysis of the influence of quantifiers’ lexicalization and relations between quantified entities on determining quantifiers’ scope was conducted, the results of which do not undermine the possibility of using knowledge about the world when determining quantifiers’ scope by the model.