Evaluation of Economic Commentators Predictive Capabilities using LLMs

Praca bada, czy duży model językowy może posłużyć do zbudowania ustrukturyzowanego zbioru jawnych prognoz makroekonomicznych z polskiego dziennikarstwa ekonomicznego oraz jakie wzorce trafności prognoz ex post można zaobserwować w uzyskanym zbiorze. Zbudowano korpus 3 219 artykułów z sześciu portali: Obserwatora Finansowego, PAP, Bankier.pl, Business Insider Polska, Money.pl i TVN24, obejmujący lata 2021-2023. Pipeline obejmuje wyszukiwanie Google Custom Search, scrapowanie, czyszczenie i standaryzację HTML, a następnie ekstrakcję prognoz przez model OpenAI gpt-4.1-mini według ustalonego schematu JSON oraz późniejszą normalizację zmiennych, jednostek i horyzontów. Wyodrębnione wartości porównano z oficjalnymi danymi zaobserwowanymi GUS, Eurostatu i NBP, wykorzystując MAE, MAPE, sMAPE oraz trafność kierunku zmiany. Kilkaset prognoz można było połączyć z wartościami zrealizowanymi, w tym prognozy inflacji (N=174), PKB (N=137) i stóp procentowych (N=57). Dla głównych wskaźników zachowanych do interpretacji średnie i medianowe błędy bezwzględne mieściły się zwykle w zakresie pojedynczych punktów procentowych, podczas gdy błędy względne wyraźnie wzrastały w okresach dużej zmienności. Około 80-85% rekordów prognoz odpowiadało obserwowanemu kierunkowi zmiany, jednak powtarzające się prognozy dotyczące tych samych wskaźników i lat ograniczają ich niezależność statystyczną. Analiza opisowa nie wykazała stabilnej przewagi żadnego portalu. Sam etap ekstrakcji oceniono dodatkowo poprzez manualną walidację 50 losowo wybranych przypadków. Walidacja wykazała 30 wyników prawdziwie dodatnich, 10 fałszywie dodatnich, 6 fałszywie ujemnych i 4 prawdziwie ujemne, co odpowiada precision 75,0%, recall 83,3%, F1-score 78,9% oraz accuracy 68,0%. Najczęściej obserwowanymi problemami były pominięcie ekstrakcji, błędny zakres, ekstrakcja niepoparta treścią artykułu oraz niepoprawna ekstrakcja. Wyniki wskazują, że model może pełnić użyteczną funkcję komponentu ETL w budowie zbiorów prognoz, jednak jego wyniki powinny być uzupełniane weryfikacją człowieka. Manualna próba dostarcza wstępnych danych o rzetelności ekstrakcji, lecz nie stanowi kompletnego, ręcznie oznaczonego zbioru referencyjnego dla wszystkich 3 219 artykułów.

This thesis examines whether a large language model can be used to construct a structured dataset of explicit macroeconomic forecasts from Polish economic journalism, and what patterns of ex post forecast accuracy can be observed in the resulting dataset. A corpus of 3,219 articles from six outlets (Obserwator Finansowy, PAP, Bankier.pl, Business Insider Polska, Money.pl, and TVN24) was constructed for the period 2021-2023. The pipeline combines Google Custom Search retrieval, HTML scraping, cleaning and standardisation, followed by LLM-based extraction using OpenAI gpt-4.1-mini with a fixed JSON schema and post-processing of variables, units, and horizons. The extracted values were compared with official observed outcomes from GUS, Eurostat, and NBP using MAE, MAPE, sMAPE, and directional accuracy.
Several hundred forecasts could be matched to realised outcomes, including inflation (N=174), GDP (N=137), and interest rates (N=57). For the principal indicators retained for interpretation, mean and median absolute errors were generally in the low single-digit percentage-point range, while relative errors increased substantially during volatile periods. Approximately 80-85% of forecast records matched the observed direction of change, although repeated forecasts concerning the same indicator-year outcome limit their statistical independence. Descriptive comparisons did not reveal a consistent accuracy advantage for any outlet.
The extraction stage was additionally evaluated through a manual validation of 50 randomly selected cases. The validation produced 30 true positives, 10 false positives, 6 false negatives, and 4 true negatives, corresponding to precision of 75.0%, recall of 83.3%, an F1-score of 78.9%, and accuracy of 68.0%. The most common observed problems were missed extraction, wrong scope, unsupported extraction, and incorrect extraction. The results suggest that the model can serve as a useful ETL component for assembling forecast datasets, but its output should be complemented by human verification. The manual sample provides initial evidence about extraction reliability; it does not constitute a fully annotated reference corpus for all 3,219 articles.