Comparing the Discourse of Academic Reviews in eLife and MDPI Journals: A Quantitative Analysis.

Niniejsza praca analizuje różnice w dyskursie recenzji naukowych między wydawnictwami MDPI i eLife, które stosują odmienne procesy recenzowania i publikacji. Za pomocą ilościowej analizy treści zbadano raporty recenzji pod kątem długości, liczby błędów, czytelności i perplexity. Wyniki pokazują, że raporty z okresu przed zmianami w eLife były najdłuższe, następnie raporty MDPI, a najkrótsze były raporty eLife po zmianach, co prawdopodobnie wynika z redakcji recenzji i podsumowawczego charakteru. Liczba błędów w przeliczeniu na słowo była równomiernie rozłożona we wszystkich grupach, co jest sprzeczne z oczekiwaniami. Analiza czytelności wykazała, że raporty MDPI były najłatwiejsze do zrozumienia, podczas gdy raporty eLife po zmianach były najtrudniejsze. Najwyższe wartości perplexity odnotowano w raportach MDPI, co może odzwierciedlać większą różnorodność tematów i stylów pisarskich w tym korpusie. Wyniki te podkreślają, w jaki sposób procesy redakcyjne i specjalistyczny dyskurs naukowy wpływają na charakter tekstów recenzji naukowych oraz sugerują kierunki przyszłych badań nad wiarygodnością i jakością praktyk recenzowania.

This thesis investigates differences in peer review discourse between MDPI and eLife, two publishers with distinct peer review and publication processes. Through a quantitative content analysis, review reports were examined for length, number of mistakes, readability, and perplexity. The findings reveal that pre-change eLife reports were the longest, followed by MDPI reports, while post-change eLife reports were the shortest, likely due to their edited and summarized nature. Mistakes per word were evenly distributed across all groups, contrary to expectations. Readability results showed that MDPI reports were the easiest to read, while post-change eLife reports were the most difficult. Perplexity was highest in MDPI reports, potentially reflecting the greater variety in topics and writing styles within that corpus. These findings highlight how editorial processes and discipline-specific discourse shape peer review text and suggest future research directions to explore the reliability and quality of peer review practices.