Skuteczność otwartych dużych modeli językowych w generowaniu ustrukturyzowanych abstraktów. Analiza porównawcza 30 modeli

Cel: Celem pracy była weryfikacja, czy małe i średniej wielkości otwarte modele językowe są w stanie generować ustrukturyzowane abstrakty naukowe z zachowaniem zwięzłości i wysokiego poziomu merytorycznego. Metodologia: Badaniem objęto trzydzieści otwartych modeli językowych, zróżnicowanych pod względem liczby parametrów i architektury. Modele uruchomiono za pośrednictwem aplikacji Ollama, konfigurując je przy użyciu pliku Modelfile oraz promptu systemowego. Do oceny jakości wygenerowanych abstraktów zastosowano metrykę BERTScore, uzupełnioną o analizę manualną według kryteriów relewantności, precyzji i struktury. Wyniki: Ponad połowa modeli uzyskała wyniki dobre lub bardzo dobre. W zakresie automatycznej ewaluacji mediana wskaźnika F1 BERTScore wyniosła 0,27 (średnia arytmetyczna 0,26). W ocenie manualnej mediana wyniosła 6/9 (średnia arytmetyczna 5,27), a maksymalną liczbę punktów (9/9) uzyskał tylko jeden model. Najtrudniejszym kryterium okazała się relewantność, najprostszym zaś struktura. Najważniejszym predyktorem jakości abstraktu okazała się architektura modelu, natomiast liczba parametrów wykazała słabszą zależność z jakością uzyskanych wyników. Oryginalność/wartość: Niniejsza praca stanowi jedno z nielicznych badań oceniających zdolność otwartych modeli językowych w zakresie generowania ustrukturyzowanych abstraktów naukowych w warunkach ograniczeń sprzętowych. Dodatkowo, w pewnej mierze potwierdza przydatność metryki BERTScore do semantycznej oceny treści generowanych przez sztuczną inteligencję. Uzyskane wyniki mogą służyć badaczom jako wskazanie, które modele warto uwzględniać w kolejnych badaniach lub zastosowaniach o podobnym charakterze.