Grandiose narcissism detection in short social media posts using Large Language Models

Badanie dotyczy wykorzystania technik przetwarzania języka naturalnego (NLP) do oceny cech narcystycznych w treściach postów mediów społecznościowych, wypełniając lukę w skal- owalnych narzędziach do psychologicznej analizy zachowań ludzi w internetowych serwisach społecznościowych. W szczególności koncentruje się na narcyzmie wielkościowym, mierzonym za pomocą wymiarów podziwu i rywalizacji z Narcystycznego Kwestionariusza Podziwu i Rywalizacji (NARQ). Zaimplementowano dwa podejścia NLP oparte na regresji: model uczenia na kilku przykładach wykorzystujący czat GPT i dostrojony model BERT z warstwą regresyjną. W badaniu wykorzystano nowy zbiór danych (N = 501) i zbadano, jak dobrze cechy narcystyczne można rozpoznać na podstawie postów na różne tematy: podróże, aborcja i sztuczna inteligencja. Wydajność modelu jest oceniana w odniesieniu do trzech pomiarów bazowych: statystycznej, wyników dostarczonych przez psychologa i tradycyjnego modelu worka słów. Wyniki określają zdolność dużych modeli językowych do wykrywania cech narcystycznych w krótkich tekstach, szczególnie podkreślając ograniczenia nawet najnowszych modeli do pracy z małymi zbiorami danych i wskazują dalsze kierunki badań. Ponadto przeanalizowaliśmy inteligencję werbalną oraz pozytywny i negatywny afekt emocjonalny tych postów przy użyciu metody zero-shot. Porównanie tych cech z narcyzmem wykazało, że podziw jest skorelowany z pozytywnym afektem emocjonalnym i odwrotnie skorelowany z negatywnym afektem emocjonalnym. Siła tego efektu różniła się pomiędzy różnymi typami postów. Inteligencja werbalna była skorelowana z negatywnym afektem emocjonalnym i odwrotnie skorelowana z pozytywnym afektem emocjonalnym. Te wyniki pokazują zarówno potencjał, jak i ograniczenia najnowocześniejszych metod uczenia maszynowego stosowanych w badaniach psychologicznych.

This study investigates the use of Natural Language Processing (NLP) techniques to assess narcissistic traits in social media content, addressing a gap in scalable tools for psychological analysis of people's behavior on social networking sites. Specifically, it focuses on grandiose narcissism, measured through the dimensions of admiration and rivalry from the Narcissistic Admiration and Rivalry Questionnaire (NARQ). Two regression-based NLP approaches are implemented: a few-shot model using GPT and a fine-tuned BERT model with a regression head. The study uses a new dataset (N=501) and investigates how well narcissistic traits can be discerned from posts on different topics: travel, abortion, and artificial intelligence. Model performance is evaluated against tree baselines: statistical, scores provided by a psychologist and a traditional bag-of-words model. The findings demonstrate the viability of large language models for detecting narcissistic traits in short text, especially highlighting the limitations of even the latest models, when the dataset is small and showing further research directions. Furthermore, we analyzed verbal intelligence and the positive and negative emotional affect of those posts using the zero-shot method. The comparison between those traits and narcissism showed that admiration is correlated with positive emotional affect and inversely correlated with negative emotional affect. The strength of this effect varied between the post types. Finally, verbal intelligence was correlated with negative emotional affect and was inversely correlated with positive emotional affect. This finding shows both the potential and limitations of the state-of-the-art machine learning methods used for psychological studies.