Comparison and evaluation of knowledge bases implementation methods of language models

W erze dużych modeli językowych (LLM) wzbogacenie tych modeli o spersonalizowane lub eksperckie informacje, których im brakuje jest niezwykle istotne. Generowanie wspomagane wyszukiwaniem (RAG) jest wiodącym podejściem do rozwiązania tego problemu. Niniejsza praca bada dwie główne strategie RAG: metody oparte na wektorowych bazach danych oraz metody oparte na grafach wiedzy, wraz z nowatorskim podejściem hybrydowym, opracowanym w tym badaniu. Każdy system jest oceniany w kontekście pytanie-odpowiedź, zarówno za pomocą oceny ludzi, jak i automatycznych narzędzi. Wyniki są analizowane w celu zidentyfikowania mocnych i słabych stron każdego podejścia. Praca kończy się dyskusją na temat najbardziej obiecujących kierunków rozwoju metodologii RAG w przyszłości.

In the era of Large Language Models (LLMs), it is crucial to enhance these models with personalized or expert information they inherently lack. Retrieval-Augmented Generation (RAG) is a prominent approach to address this challenge. This thesis investigates two primary strategies for RAG: vector database-based methods and knowledge graph-based methods, along with a novel combined approach developed in this study. Each system is evaluated in a question-answering context using both human feedback and an automated evaluation framework. The results are analyzed to identify the main strengths and weaknesses of each approach. The thesis concludes with a discussion of the most promising future directions for RAG methodologies.