Pozyskiwanie, agregacja i wizualizacja otwartych danych w działalności na europejskim rynku energii elektrycznej i gazu

Zasady jawności i transparentności obowiązujące na europejskim rynku energii elektrycznej i gazu ziemnego oferują działającym na nim podmiotom dostęp do szerokiego wachlarza danych.

Przeszkodą w ich skutecznym wykorzystywaniu jest jednak rozbicie na wiele źródeł, różnorodność formatów oraz brak możliwości agregacji do przedziałów czasowych i kategorii istotnych biznesowo.

Celem tej pracy jest opracowanie i implementacja systemu pobierania, przetwarzania oraz analizy danych z otwartych źródeł europejskich, takich jak ENTSO-E, AGSI i ALSI. Praca skupia się na integracji danych dotyczących godzinowych cen energii elektrycznej, struktury źródeł wytwarzania energii w poszczególnych państwach oraz stanu magazynowego gazu ziemnego i LNG w ramach aplikacji WWW opartej na Django, Celery i GraphQL, działającej w infrastrukturze AWS.

Aplikacja obejmuje również agregację miksu energetycznego w ujęciu miesięcznym, kwartalnym i rocznym oraz konwersję walutową zgodnie z kursami pozyskiwanymi z API NBP i ECB.

Rozwiązywany problem dotyczy efektywnego pozyskiwania, czyszczenia, łączenia i wizualizacji danych z różnych źródeł w celu wsparcia procesów decyzyjnych uczestników rynków energetycznych.

The principles of openness and transparency applicable to the European electricity and natural gas market offer entities operating on it access to a wide range of data.

However, their effective use is hampered by the fragmentation of sources, the diversity of formats, and the inability to aggregate data into relevant time intervals and categories.

The aim of this work is to develop and implement a system for acquisition, processing, and analyzing data from open European sources such as ENTSO-E, AGSI, and ALSI. The work focuses on the integration of data on hourly electricity prices, the structure of energy generation sources in individual countries, and the storage levels of natural gas and LNG, within a web application based on Django, Celery, and GraphQL, operating in the AWS infrastructure.

The application also covers the aggregation of the energy mix on a monthly, quarterly, and annual basis, as well as currency conversion in accordance with exchange rates obtained from the NBP and ECB APIs.

The problem being addressed is the effective acquisition, cleaning, merging, and visualization of data from various sources for the purpose of supporting the decision-making processes of energy market participants.