Ocena i porównanie odpowiedzi chatbotów ChatGPT, Google Gemini i Microsoft Copilot na pytania dotyczące kompetencji informacyjnych

Wyszukiwanie informacji od zawsze było wyzwaniem dla człowieka, dlatego chatboty oparte na sztucznej inteligencji, które stanowią dużą pomoc w tym zakresie, stają się coraz bardziej popularne i powszechne. W związku z tym, celem tej pracy jest przeanalizowanie i porównanie pod kątem ilościowym i jakościowym odpowiedzi na pytania dotyczące kompetencji informacyjnych, generowane przez ChatGPT, Google Gemini oraz Microsoft Copilot.

Pierwszy rozdział omawia podstawowe pojęcia związane z tematem pracy, takie jak przetwarzanie języka naturalnego, uczenie maszynowe, tokenizacja czy prompt. Przedstawiona jest także historia rozwoju chatbotów, od początkowych eksperymentów po sprawnie działające systemy. Oprócz tego, dalsza część koncentruje się opisaniu istniejących benchmarków i testów, jakie służą do oceny jakości działania narzędzi.

Rozdział drugi skupia się na opisie analizowanych chatbotów. Znajdują się tutaj informacje jak rozwijał się każdy z nich, ale przede wszystkim jak obecnie wygląda pod względem interfejsu czy sposobu logowania. Następnie opisane zostały koszty, w zależności od wybranego pakietu, a także jakie możliwości techniczne daje każda wersja. Na końcu znajduje się także informacja jak wygląda współpraca chatbotów z innymi systemami.

Kolejna część pracy skupia się na przedstawieniu, w jaki sposób zostanie wykonana analiza ilościowa i jakościowa. W ramach tej pierwszej zostaje zaprezentowane narzędzie Jasnopis oraz wszystkie badane wartości liczbowe oraz współczynniki. Dla podejścia jakościowego, spisane są wszystkie kryteria oraz najpopularniejsze definicje kompetencji informacyjnych oraz modele ich kształcenia. Z kolei ostatnia część pokazuje wyniki przeprowadzonych badań wraz z interpretacją.

Wyniki wskazują, że odpowiedzi poszczególnych chatbotów różnią się między sobą nie tylko długością odpowiedzi ale także sposobem ujęcia tematu i prezentacją treści. ChatGPT generuje dość zwięzłe treści, skupiając się na temacie. Google Gemini tworzy najdłuższe teksty, a ich styl jest opisowy i narracyjny. Z kolei Microsoft Copilot prezentuje zdecydowanie najkrótsze odpowiedzi, nie dodając żadnych dodatkowych elementów.

W przypadku treści – narzędzia odwołują się do znanych teorii, wygenerowana treść spełnia wymogi odnośnie posiadania elementów kluczowych dla definicji kompetencji informacyjnych lub modelu ich kształcenia. Narzędzia nie pomijają żadnych aspektów, a najczęściej zdarza się, że dodają jakieś dodatkowe elementy lub dodają dodatkowe informacje.

Searching for information has always been a challenge for humans, which is why AI-based chatbots that assist in this area are becoming increasingly popular and widespread. Therefore, the aim of this thesis is to analyze and compare the responses generated by ChatGPT, Google Gemini, and Microsoft Copilot to questions concerning information literacy, both quantitatively and qualitatively.

The first chapter discusses key concepts related to the topic, such as natural language processing, machine learning, tokenization, and prompts. It also presents the history of chatbot development, from early experiments to fully functioning systems. Additionally, this part focuses on describing existing benchmarks and tests used to evaluate the quality of such tools.

The second chapter focuses on the description of the analyzed chatbots. It includes information on their development history, as well as their current user interfaces and login processes. It also describes pricing depending on the selected plan and the technical capabilities of each version. Finally, it includes how each chatbot integrates with other systems.

The next part of the thesis presents the methodology for the quantitative and qualitative analysis. For the quantitative part, the Jasnopis tool is introduced, along with all the numerical values and coefficients analyzed. For the qualitative approach, the criteria and the most common definitions of information literacy and models of its development are listed. The final section presents the results of the conducted research along with their interpretation.

The results indicate that the responses of individual chatbots differ not only in length but also in how the topic is approached and content is presented. ChatGPT generates rather concise responses, focusing directly on the topic. Google Gemini produces the longest texts, characterized by a descriptive and narrative style. Microsoft Copilot, on the other hand, provides the shortest responses, typically without any additional elements.

As for the content, the tools reference well-known theories, and the generated content meets the requirements for including key elements related to the definition of information literacy or its development models. The tools do not omit any aspects, and they often add supplementary elements or additional information.