Legal Texts in Artificial Intelligence (AI) Translation. A Multi-Method Performance Analysis of Selected Polish Large Language Models

W obliczu szybkiego rozwoju technologii sztucznej inteligencji duże generatywne modele językowe umacniają swoją pozycję jako odrębny, trzeci obok tłumaczy oraz konwencjonalnych systemów tłumaczenia maszynowego, agent w przestrzeni przekładu. W rozwijającym się polskim ekosystemie technologicznym transformacji tej przewodzą dwie wiodące rodzime architektury: Bielik i PLLuM. Niniejsza praca bada wydajność operacyjną obu wspomnianych modeli w zastosowaniu do przekładu wysoce specjalistycznego instytucjonalnego dyskursu prawnego opierając się na korpusie komunikatów prasowych Trybunału Konstytucyjnego. W celu ewaluacji zaproponowano niezależną, powtarzalną i wspomaganą korpusowo metodologię, którą specjaliści językowi mogą wdrożyć bez przygotowania informatycznego. Ewaluację wydajności modeli przeprowadzono poprzez połączenie analizy telemetrii procesu tłumaczenia w czasie rzeczywistym (inspirowanej metodologią badań nad przekładem ustnym) z tradycyjną oceną opartą na metrykach automatycznych (standardową w badaniach nad tłumaczeniem maszynowym), uzupełnioną o manualną analizę niealgorytmicznych cech tekstu. Przeprowadzony eksperyment pozwolił na uzyskanie wniosków, że model PLLuM tłumaczył nieznacznie szybciej, podczas gdy Bielik wykazał się większą precyzją w realizacji pobudzeń systemowych oraz wyższą jakością wygenerowanego tekstu końcowego. Ponadto, w pracy sklasyfikowano badane komunikaty prasowe jako odrębny gatunek tekstowy oraz opisano instytucjonalne procesy tłumaczeniowe zachodzące w Trybunale Konstytucyjnym. Uzyskane wyniki potwierdzają, że zbadane modele językowe nie są już jedynie rozwiązaniami prototypowymi, tylko praktycznymi narzędziami, które są zdolne do generowania funkcjonalnych wersji roboczych tłumaczeń prawniczych. Choć technologia ta zyskuje wyraźny wymiar aplikacyjny, jej pełne i autonomiczne zastosowanie w tak wymagającym dyskursie nadal napotyka ograniczenia, które wymagają systematycznych prac optymalizacyjnych.

As artificial intelligence technologies undergo rapid advancement, generative large language models are reinforcing their position as a distinct third agent within the translation landscape, alongside human practitioners and conventional machine translation systems. Within Poland’s developing technological ecosystem, this transformation is led by two prominent domestic architectures: Bielik and PLLuM. This study examines the operational efficiency of these two models when applied to the translation of highly formalised institutional legal discourse, utilising an empirical framework built around a corpus of Polish Constitutional Tribunal press releases. To evaluate translation performance, the study proposes an independent, reproducible, corpus-assisted methodology that language specialists can deploy without requiring a background in computer science. Model performance is operationalised by combining the analysis of real-time process telemetry (inspired by empirical interpreting studies methodologies) with traditional automated-metric-based evaluation (standard in machine translation research), paired with a targeted manual review of non-algorithmic textual features. The test revealed that PLLuM translated marginally quicker, whereas Bielik demonstrated greater instruction-following precision and higher-quality outputs. Additionally, the study characterised the investigated press releases as a distinct textual genre and provided novel insights into the institutional translation workflows of the Polish Constitutional Tribunal. Ultimately, the data confirms that we are no longer in an era of experimental AI translation for the Polish legal system, yet there still remain avenues for optimisation.