Analysis of the effectiveness of the Polish judicial system using machine learning tools

Niniejsza rozprawa ma na celu analizę skuteczności polskiego systemu sądowniczego z wykorzystaniem metod analizy danych ilościowych, ze szczególnym uwzględnieniem zastosowania algorytmów uczenia maszynowego. Co istotne, kładzie ona nacisk na ekonomiczną perspektywę skuteczności sądownictwa, zwłaszcza w odniesieniu do interpretacji uzyskanych wyników oraz formułowania wniosków dla polityki publicznej. Pierwszy artykuł tej rozprawy proponuje metodę oceny skuteczności systemu sądownictwa, przybliżonej przez empiryczne prawdopodobieństwo wniesienia apelacji od wyroku sądu. Podejście to, zaprezentowane na przykładzie sądów okręgowych w Polsce, wykorzystuje nowoczesny algorytm uczenia maszynowego o nazwie BERTopic do klasyfikacji spraw sądowych na podstawie dominujących motywów tematycznych, tworząc w ten sposób model tematyczny orzeczeń. Klasyfikacja ta jest następnie wykorzystywana do dostarczenia opisowych dowodów na korelację między cechami spraw a empirycznym prawdopodobieństwem apelacji. W szczególności wyniki sugerują, że grupy tematyczne o większej heterogeniczności w wydziałach prawnych związanych spraw są bardziej narażone na wniesienie apelacji. Drugi artykuł tej rozprawy rozszerza istniejącą metodologię analizy zmienności czasowej motywów tematycznych obserwowanych w orzeczeniach sądowych. Łączy wcześniej skonstruowany model tematyczny z metodami analizy szeregów czasowych w celu zidentyfikowania wzorców sezonowych i trendów monotonicznych w orzecznictwie w ramach określonych rodzajów spraw sądowych. Wyniki, uzyskane na podstawie próby orzeczeń sądów okręgowych w Polsce, skłaniają do dyskusji na temat potencjalnych źródeł sezonowości w orzecznictwie i pozwalają na wyciągnięcie wniosków dotyczących typów spraw, które coraz bardziej obciążają sądy. W trzecim artykule wprowadzono metodę prognozowania skuteczności poszczególnych sądów. Na przykładzie polskich sądów okręgowych pokazano, że odsetek wyroków sądowych dotyczących określonych tematów w ramach całego orzecznictwa, a także empiryczne prawdopodobieństwo apelacji w niektórych grupach tematycznych orzeczeń, są przestrzennie autoskorelowane. Następnie modelowana i prognozowana jest przykładowa miara skuteczności sądów, jaką jest roczne empiryczne prawdopodobieństwo apelacji w danym sądzie. Jest to realizowane przy użyciu czasowych i przestrzennych opóźnień zmiennej zależnej, wraz z cechami opisującymi zarówno strukturę tematyczną orzecznictwa regionalnego, jak i regionalne cechy społeczno-ekonomiczne, jako potencjalne determinanty skuteczności sądów. Wyniki pokazują, że modele zero-inflacyjne wykorzystujące algorytmy uczenia maszynowego przewyższają klasyczne modele ekonometryczne w tym zadaniu. Ponadto proponowane podejście umożliwia identyfikację i interpretację najważniejszych predyktorów dla rozważanej miary skuteczności. Uzyskane wyniki pozwalają na sformułowanie rekomendacji dla polityki sądowej. W szczególności identyfikacja grup tematycznych orzeczeń charakteryzujących się wzorcami czasowymi lub przestrzennymi w ich empirycznym prawdopodobieństwie apelacji może umożliwić lepszą alokację zasobów sądów. Może to przybrać formę tworzenia wyspecjalizowanych wydziałów sądowych, wcześniejszego zarządzania dostępnością ekspertów w odpowiednich dziedzinach oraz szkolenia personelu sądowego. Jednocześnie wyniki można postrzegać jako sugestię dla reform niektórych aspektów prawa procesowego.

This dissertation aims to analyse the effectiveness of the Polish judicial system using quantitative data analysis methods, with a particular focus on the application of machine learning algorithms. Notably, it emphasises an economic perspective on judicial performance, particularly with regard to the interpretation of the results obtained, as well as when formulating conclusions for public policy. The first article encompassed by this dissertation proposes a method for assessing the effectiveness of the judicial system approximated by the empirical probability of filing an appeal against a court decision. This approach, demonstrated for regional courts in Poland, employs a state-of-the-art machine learning algorithm called BERTopic to classify court cases based on their predominant thematic motifs, thereby creating a topic model of judgements. This classification is then used to provide descriptive evidence on the correlation between case characteristics and the empirical probability of appeal. Specifically, the results suggest that topic groups with greater heterogeneity in the legal departments of related cases are more likely to be appealed. The second article in this dissertation extends the existing methodology for analysing temporal variability of thematic motifs observed in court rulings. It combines a previously constructed topic model with time series analysis methods to identify seasonal patterns and monotonic trends in adjudication within specific types of court cases. The results, obtained for a sample of judgements from Polish regional courts, prompt a discussion on potential sources of seasonality in adjudication and allow for conclusions to be drawn regarding the types of cases that are increasingly burdening the courts. In the third article, a method for predicting the performance of individual courts is introduced. Using the example of Polish regional courts, it is demonstrated that the proportion of court decisions on specific topics within their overall case law, as well as the empirical probability of appeal in certain thematic groups of judgements, are spatially autocorrelated. Subsequently, an exemplary measure of court effectiveness, namely the annual empirical probability of appeal per court, is modelled and predicted. This is done using temporal and spatio-temporal lags of the dependent variable, alongside features describing either the thematic structure of regional case law or regional socio-economic characteristics, as potential determinants of court performance. The results show that zero-inflated models incorporating machine learning algorithms outperform classical econometric models for this task. Moreover, the proposed approach facilitates the identification and interpretation of the most important predictors for the performance measure under consideration. The obtained results allow for the formulation of recommendations for judicial policy. In particular, the identification of thematic groups of judgements characterised by temporal or spatial patterns in their empirical probability of appeal may enable better allocation of court resources. This can take the form of creating specialised court departments, managing in advance the availability of experts in the relevant fields, and training court staff. At the same time, the results can be perceived as a suggestion for reforms of certain aspects of the procedural law.