Reproducibility in Experimental Philosophy: An Analysis of Case Studies on Data and Code Sharing

Reprodukowalność odnosi się do możliwości zweryfikowania wyników raportowanych w artykułach naukowych poprzez przeprowadzenie analiz z wykorzystaniem tych samych danych i kodu. W niniejszej pracy sprawdzono, czy dostępność danych i kodu analitycznego jest wystarczająca do odtworzenia wyników artykułów opublikowanych z zakresu filozofii eksperymentalnej. Ostateczna próba obejmowała 23 artykuły, a cztery z nich wybrano jako studia przypadków do szczegółowej analizy. Reprodukcję oceniano pod kątem tego, czy analizę można było przeprowadzić bez modyfikacji kodu, danych lub struktury projektu, które nie zostały wskazane przez autorów, oraz czy uzyskany output obejmował wszystkie raportowane wyniki i był z nimi zgodny. Próby reprodukcji wykazały, że sama dostępność otwartych danych i kodu nie gwarantuje reprodukowalności. Zidentyfikowane problemy obejmowały niespójności i braki w udostępnionych zasobach, niekompatybilność wersji oprogramowania, niewystarczającą dokumentację, niekontrolowaną losowość oraz błędy w raportowaniu wyników. Wyniki pokazują, że reprodukowalność zależy nie tylko od udostępnienia zasobów badawczych, lecz także od zapewnienia ich kompletności, spójności i użyteczności oraz dostarczenia informacji wystarczających do odtworzenia pierwotnej analizy. Na podstawie zidentyfikowanych problemów zaproponowano praktyczne rekomendacje mające na celu poprawę reprodukowalności badań.

Reproducibility refers to the ability to verify scientific results reported by rerunning analyses using the same data and code. This study examines whether the availability of data and analytical code is sufficient to reproduce results reported in articles in the field of experimental philosophy. The final sample comprised 23 articles, four of which were selected as case studies for in-depth analysis. Reproduction was assessed in terms of whether the analysis could be executed without modifications to the code, data, or project structure that were not specified by the authors, and whether the resulting output covered and matched all reported results. The reproduction attempts showed that open data and open code alone do not guarantee reproducibility. Problems included inconsistencies and incompleteness in shared resources, software version incompatibilities, insufficient documentation, uncontrolled randomness, and reporting errors. The findings highlight that reproducibility depends not only on making research resources available, but also on ensuring that they are complete, consistent, usable, and accompanied by sufficient information to reconstruct the original analysis. Practical recommendations addressing the identified problems are proposed.