The added value of modern statistical tools and machine learning in labour market analysis

Nowoczesne narzędzia statystyczne i uczenie maszynowe stwarzają nowe możliwości w analizie rynku pracy. Uczenie maszynowe jest szeroko stosowane w wielu dziedzinach, ale nadal jest stosunkowo rzadko wykorzystywane w analizie rynku pracy. Informatyka, biologia i finanse wykorzystują te techniki do rozpoznawania wzorców i przewidywania. Uczenie maszynowe jest szeroko stosowane ze względu na jego zdolność do analizy złożonych, wielowymiarowych danych bez ścisłych założeń parametrycznych. Analizy statystyczne i ekonometryczne są często ograniczone przez brak odpowiednich narzędzi do radzenia sobie z wyzwaniami stawianymi przez nietypowe cechy danych. Takim problemem były kiedyś obserwacje brakujące lub odstające. Obecnie wiele innych problemów z analizą danych nie ma odpowiedniego rozwiązania. Dotychczas nierozwiązanym wyzwaniem była obecność zmiennych kategorycznych z kodowaniem zmieniającym się w czasie, zwłaszcza w longitudinalnych zbiorach danych. Tradycyjne metody albo usuwają z analizy zmienne kategoryczne, albo agregują je do kategorii wyższego poziomu, ograniczając zakres badania. Badacze mogą tworzyć lub wykorzystywać nowe narzędzia statystyczne, aby sprostać takim wyzwaniom. Głównym celem niniejszej rozprawy jest zbadanie, w jaki sposób nowoczesne metody statystyczne i uczenia maszynowego mogą usprawnić analizę rynku pracy. Nacisk kładziony jest na zastosowanie nowych narzędzi metodologicznych oraz ich wpływ na analizę rynku pracy. Niniejsza rozprawa doktorska opiera się na trzech powiązanych tematycznie artykułach naukowych. W rozprawie przedstawiono wyniki empirycznej weryfikacji sformułowanych pytań badawczych. Pierwszy rozdział dotyczy praktycznego wyzwania analitycznego. Zbadano wpływ struktury wiekowej siły roboczej na wynagrodzenia w szczególnych grupach zawodowych na przestrzeni lat 2006-2014. Wykorzystując dane z badania Struktury Wynagrodzeń, analiza napotkała fundamentalną przeszkodę. System klasyfikacji zawodów w Polsce, oparty na Międzynarodowej Standardowej Klasyfikacji Zawodów (ISCO), przeszedł znaczącą rewizję w 2010 roku. Rewizja ta dotknęła około 10% kodów 1-cyfrowych, 40% kodów 2-cyfrowych, 80% kodów 3-cyfrowych oraz 85% kodów 4-cyfrowych. Zmiany wynikają z podziału, połączenia lub przedefiniowania wielu kategorii. Analiza na danych longitudinalnych bez etapu harmonizacji dla takiej zmiennej kategorycznej będzie obciążona lub niemożliwa. Tradycyjne metody albo wykluczają dotknięte zmienne, albo agregują je do kategorii wyższego poziomu, tracąc przy tym szczegółowość informacji. Aby pokonać tę barierę, autor opracował metodę cat2cat. Metoda cat2cat służy do harmonizacji niespójnie zakodowanych zmiennych kategorycznych w zbiorach danych longitudinalnych. Gdy kategoria w jednym okresie odpowiada wielu kategoriom w innym, metoda replikuje obserwacje z prawdopodobieństwami oszacowanymi za pomocą metod opartych na częstościach. Ta innowacja umożliwiła analizę w czasie relacji między płacą a wiekiem w szczególnych grupach zawodowych, pomimo zmiany klasyfikacji. Wyniki ujawniają znaczną heterogeniczność, która pozostaje ukryta w analizie zagregowanej. W zawodach wymagających dużej wiedzy, takich jak menedżerowie czy wykwalifikowani rzemieślnicy, wyższy udział starszych pracowników jest skorelowany z wyższymi płacami. W zawodach intensywnych technologicznie lub wymagających fizycznie ta zależność jest odwrotna. Te wzorce, specyficzne dla poszczególnych zawodów, dostarczają ukierunkowanych wskazówek dla polityki demograficznej oraz planowania siły roboczej. Drugi rozdział przedstawia udoskonaloną i uogólnioną metodę cat2cat w kompleksowy sposób. Opierając się na początkowym opracowaniu, metoda została rozszerzona, sformalizowana i zaimplementowana jako oprogramowanie otwarte (open-source) zarówno w języku R, jak i Python. Rozprawa wyjaśnia podstawy teoretyczne i wykazuje, że proces replikacji obserwacji zachowuje właściwości statystyczne oryginalnych danych. Ważone średnie i wariancje obliczone dla zmiennych niewymagajacych unifikacji z danych zharmonizowanych są równe tym z danych oryginalnych. Metoda jest więc neutralna dla struktury oryginalnych danych. Do estymacji prawdopodobieństw możliwe jest wykorzystanie częstości lub algorytmów uczenia maszynowego. Rozwiązano również wyzwania techniczne, w tym zastosowanie cat2cat w wielu okresach, obsługę danych panelowych z unikalnymi identyfikatorami oraz właściwe dostosowanie stopni swobody w modelach regresji. Praktyczne zastosowania z wykorzystaniem klasyfikacji zawodów ISCO demonstrują wszechstronność metody. Pakiety oprogramowania dostępne na Comprehensive R Archive Network (CRAN) i Python Package Index (PyPI) zapewniają dostępność dla społeczności badawczych stających przed podobnymi wyzwaniami związanymi z ewoluującymi systemami klasyfikacji. Metodę cat2cat można zastosować poza ekonomią pracy, w takich dziedzinach jak badania medyczne (Międzynarodowa Klasyfikacja Chorób) i inne dziedziny (np. statystyczna klasyfikacja działalności gospodarczej) w obliczu ewoluujących systemów klasyfikacji. Trzeci rozdział omawia zastosowanie interpretowalnego uczenia maszynowego do identyfikacji determinant aktywizacji zawodowej. Aktywizacja na rynku pracy odnosi się do przejść z bierności zawodowej do zatrudnienia lub bezrobocia. W badaniu wykorzystano dane z Badania Aktywności Ekonomicznej Ludności (2011–2019) oraz zastosowano drzewa decyzyjne, XGBoost (Extreme Gradient Boosting) i analizę SHAP (SHapley Additive exPlanations). Odkryto złożone relacje między charakterystykami indywidualnymi a cechami gospodarstw domowych. Analiza ujawnia, że dochód emerytalny jako główne źródło utrzymania, samoidentyfikacja jako osoba bezrobotna oraz poziom wykształcenia są trzema najbardziej wpływowymi czynnikami. Pojawiają się wyraźne wzorce kierunkowe. Wyższe wykształcenie, doświadczenie zawodowe, bycie w związku małżeńskim oraz dochód emerytalny wiążą się ze zwiększonym prawdopodobieństwem bezpośredniego przejścia do zatrudnienia. Niższe wykształcenie, ograniczone doświadczenie, bycie singlem oraz samoidentyfikacja jako osoba bezrobotna zwiększają prawdopodobieństwo przejścia do stanu bezrobocia. Te ustalenia pokazują, jak uczenie maszynowe uzupełnia tradycyjne podejścia ekonometryczne, ujawniając złozone wzorce oraz interakcje, których modele liniowe nie zawsze są w stanie wykryć. Przeprowadzone badania empiryczne pozwoliły uzyskać odpowiedź na postawione pytania badawcze. Niniejsza rozprawa wykazuje, że nowoczesne metody statystyczne i uczenie maszynowe pogłębiają zrozumienie rynku pracy w sposób wykraczający poza tradycyjne podejścia. Metoda cat2cat, opracowana przez autora, rozwiązuje problem metodologiczny związany z niespójnymi zmiennymi kategorycznymi w longitudinalnych zbiorach danych. Metoda cat2cat umożliwia dotychczas niemożliwe analizy, co zostało pokazane na przykładzie zależności między płacami a wiekiem w różnych grupach zawodowych. Uczenie maszynowe oferuje praktyczne narzędzia do badania złożonych wzorców i interakcji przy analizie rynku pracy. Autor wykorzystuje narzędzia uczenia maszynowego, takie jak XGBoost i SHAP, aby odkryć kluczowe determinanty aktywizacji zawodowej. Uczenie maszynowe oferuje praktyczne narzędzia do projektowania polityki opartej na wynikach badań, takie jak interwencje dotyczące aktywizacji na rynku pracy.

Modern statistical tools and machine learning offer new opportunities for labour market analysis. Machine learning is widely adopted across many fields, but remains relatively underutilised in labour market analysis. Computer science, biology, and finance have extensively adopted these methods for pattern recognition and prediction. Machine learning is widely applied because it can handle complex, high-dimensional data without strict parametric assumptions. Statistical and Econometric analyses are often limited by a lack of appropriate tools to handle challenges caused by atypical data characteristics. Missing observations or outliers were once such a problem. Currently, many other data analysis problems lack adequate solutions. A previously unresolved challenge was the presence of categorical variables with time-varying coding, especially in longitudinal datasets. Traditional methods either exclude affected categorical variables from the analysis or aggregate them into higher-level categories, limiting the scope of the study. Researchers can create or use new statistical tools to overcome such challenges. The main aim of this dissertation is to explore how modern statistical and machine learning methods can enhance labour market analysis. The emphasis is on the application of new methodological tools and their impact on labour market analysis. This doctoral dissertation is based on three thematically related scientific articles. The dissertation presents the results of the empirical verification of the formulated research questions. The first chapter addresses a practical analytical challenge. The impact of the workforce age structure on wages in specific occupational groups over 2006-2014 was examined. Using the data from the Structure of Wages and Salaries survey, the analysis encountered a fundamental obstacle. The system of occupational classification in Poland, based on the International Standard Classification of Occupations (ISCO), underwent a significant revision in 2010. This revision affected approximately 10% of 1-digit, 40% of 2-digit, 80% of 3-digit and 85% of 4-digit codes. The changes result from many categories being split, merged, or redefined. Analysis on longitudinal data without a harmonisation stage for such a categorical variable would be biased or impossible. Traditional methods either exclude the affected variables or aggregate them into higher-level categories, thereby losing information granularity. To overcome this barrier, the author developed the cat2cat method. The cat2cat method harmonises inconsistently encoded categorical variables in longitudinal datasets. When a category in one period corresponds to multiple categories in another, the method replicates observations with probabilities estimated using frequency-based methods. This innovation enabled analysis of wage-age relationships over time across detailed occupational groups despite the classification change. Results reveal substantial heterogeneity masked in aggregate analysis. In knowledge-intensive occupations such as managers and skilled trades, higher shares of older workers correlate with higher wages. In technology-intensive or physically demanding occupations, the relationship reverses. These occupation-specific patterns provide targeted insights for demographic policy and workforce planning. The second chapter presents the refined and generalised cat2cat method in comprehensive detail. Building on the initial development, the method has been extended, formalised, and implemented as open-source software in both R and Python. The dissertation explains the theoretical foundations and demonstrates that the replication process preserves statistical properties of the original data. Weighted means and variances calculated for variables not requiring unification from the harmonised data are equal to those from the original data. The method is thus neutral to the structure of the original data. Machine learning or frequencies can be used to estimate probabilities. Technical challenges are addressed, including iterative application across multiple time periods, handling of panel data with unique identifiers, and proper adjustment of degrees of freedom in regression models. Practical applications using the ISCO occupational classification demonstrate the method's versatility. Software packages on the Comprehensive R Archive Network (CRAN) and the Python Package Index (PyPI) ensure accessibility across research communities facing similar challenges with evolving classification systems. The cat2cat method can be applied beyond labour economics to fields such as medical research (International Classification of Diseases) and other domains (Statistical Classification of Economic Activities in the European Community), facing evolving classification systems. The third chapter applies interpretable machine learning to identify determinants of labour market activisation. Labour market activisation refers to transitions from inactivity to either employment or unemployment. The research used data from the Labour Force Survey (2011–2019) and employed decision trees, XGBoost (Extreme Gradient Boosting), and SHAP analysis (SHapley Additive exPlanations). Complex relationships were discovered between individual characteristics and household features. Analysis reveals that pension income as the main source of livelihood, self-identification as unemployed, and educational level are the three most influential factors. Directional patterns emerge. Higher education, work experience, married status, and pension income are connected with an increased probability of direct employment transition. Lower education, limited experience, single status, and self-identification as unemployed increase the likelihood of an unemployment transition. These findings demonstrate how machine learning complements traditional econometric approaches by revealing complex patterns and interactions that linear models may not detect. The conducted empirical research provides answers to the formulated research questions. This dissertation demonstrates that modern statistical and machine-learning methods enhance understanding of the labour market beyond traditional approaches. The cat2cat method, developed by the author, addresses a methodological challenge of inconsistent categorical variables in longitudinal datasets. The cat2cat method enables analyses previously impossible, as demonstrated by the example of wage-age relationships across occupational groups. The machine learning framework offers practical tools for exploring complex patterns and interactions in labour market dynamics. The author uses machine-learning tools such as XGBoost and SHAP to uncover key determinants of labour market activisation. Machine learning offers practical tools for evidence-based policy design, such as interventions addressing labour market activisation.