Rola recenzji w zarządzaniu środkami na badania naukowe

Rozprawa ma charakter empiryczny. Głównym jej celem jest analiza ograniczeń procesu recenzowania naukowego i empiryczne przetestowanie dziewięciu hipotez wyprowadzonych z przeglądu literatury. Praca składa się z 3 części. W części pierwszej, teoretycznej, przedstawiono: poznawczy model procesu oceniania i przeanalizowano czynniki mogące zaburzać przebieg tego procesu takie, jak indywidualny styl oceniania recenzenta (poziom surowości, niechęć do różnicowania ocen dla różnych obiektów), efekt halo (brak różnicowania ocen na cząstkowych wymiarach oceny), efekt kolejności pojawiający się przy ocenie serii obiektów oraz wpływ przeciążenia informacyjnego. Część empiryczna pracy składa się z opisu badań jakościowych (pogłębione wywiady z 35 doświadczonymi recenzentami) i ilościowych: analizy danych zastanych (oceny 673 abstraktów konferencyjnych) i 4 badania eksperymentalne, w których uczestniczyło w sumie 912 osób. Logika przedstawionego w rozprawie wywodu została wsparta realizacją 4 zadań badawczych. Realizując zadanie 1. najpierw na 5 różnych zbiorach danych potwierdzono występowanie różnic między recenzentami w zakresie średniej i wariancji wystawianych ocen, co oznacza, że czynnik losowy związany z wyborem recenzenta wpływa istotnie na przyznanie grantu czy publikację tekstu. Ocena serii obiektów związana jest także z problemem efektu kolejności, który testowano na zbiorze ocen 673 abstraktów konferencyjnych. Abstrakty oceniane w pierwszej piętnastce serii miały istotnie niższą średnią niż oceniane później (Hipoteza 1a). W następnym badaniu eksperymentalnie wykazano, że wpływ kolejności na ocenę zależy od jakości obiektu: słabe obiekty zyskują, gdy oceniane na początku, dobre tracą. Wiąże się to z unikaniem skrajnych ocen na początku oceniania serii (potwierdzone zostały hipotezy 1b, 1c i 1d). Kolejnym wyzwaniem badawczym było sprawdzenie czy wprowadzenie PRZERWY może wyeliminować efekt kolejności w ocenianiu serii obiektów. Hipoteza (1e) nie została potwierdzona. Zadanie badawcze 2. związane było z próbą eliminacji w ocenach recenzentów efektu HALO przejawiającego się w bardzo wysokim skorelowaniu ocen cząstkowych. Postawiono hipotezę, że na jego siłę może wpływać sposób oceniania serii obiektów, którą można przeprowadzić w sposób w OBIEKTOWY (najpierw obiekt 1 na wszystkich wymiarach, potem obiekt 2…) lub WYMIAROWY (najpierw wszystkie obiekty na wymiarze 1., potem wszystkie obiekty na wymiarze 2…), co zostało potwierdzone empirycznie. Trzecie zadanie badawcze dotyczyło wpływu przeciążenia poznawczego, któremu podlegają pracownicy nauki borykający się z niekontrolowanym przyrostem informacji. Jednym z głównych źródeł przeciążenia są publikacje naukowe, których liczba rośnie w zastraszającym tempie. Zwiększeniu uległa także objętość i złożoność publikacji, w tym liczba cytowań. W eksperymencie sprawdzano konsekwencję stosowania dwóch odmiennych standardów cytowań: w środku tekstu (np.: APA) vs na dole strony (np. Chicago/Turabian). Założono, że przypisy umieszczane w nawiasach w środku tekstu niepotrzebnie przeciążają umysł czytającego. W dwóch eksperymentach przetestowano dwie hipotezy: (H3a) Przypisy środkowe powodują większe rozproszenie uwagi „recenzentów” niż przypisy dolne; (H3b) Na ocenę projektu wpływa stan psychoenergetyczny „recenzenta”: podwyższa ją silniejsza motywacja, obniża: stopień zmęczenia i stopień rozproszenia. Obie hipotezy zostały potwierdzone. Czwarte zadanie badawcze polegało na przeprowadzeniu pogłębionych wywiadów z 35 doświadczonymi recenzentami z różnych dyscyplin naukowych. Wywiady zostały poddane transkrypcji i zostały przedstawione syntetycznie w części trzeciej. Rozprawa się kończy się trzema rekomendacjami dla zarządzających regulacjami dotyczącymi procesu recenzji.

The work is empirical in nature. The main goal of the thesis is the analysis of the limitations of the peer review process and empirically testing nine hypotheses derived from the literature review. The work is structured into three parts. The first, theoretical, part consists of a cognitive model of reviewing and the analysis of the factors that could hinder the flow of this process. This includes: individual response style (leniency/severity level, differentiating dimensions), halo effect (lack of differentiation of grades on the partial dimensions of the assessment); serial position effect that arise when evaluating series of objects, and the influence of the information overload. The second, empirical part consists of description of qualitative (in-depth interviews with 35 experienced reviewers) and quantitative studies: analyses of existing data (assessments of 673 conference abstracts) and four experimental studies conducted on a total of N=912 participants. The logic of the argument presented in the dissertation was supported by the implementation of 4 research tasks. In task 1, differences between reviewers in terms of the average and variance of grades issued were confirmed in 5 different data set. The results were unambiguous: reviewers differ significantly in their response which means that the random factor associated with the choice of the reviewer significantly affects the assessment. Another problem when evaluating series of objects is serial position effect. Its occurrence was tested on a set of assessments of 673 abstracts submitted for an international conference. Abstracts rated among the first fifteen had a significantly lower average, than those evaluated later (Hypothesis 1a) . In the next step, three hypotheses were tested and confirmed showing that the influence of the serial position effect on the assessment depends on the quality of the object: weak objects gain when are evaluated at the beginning of the series, but good lose. This is related to the avoidance of extreme assessments at the beginning of the series evaluation. Another hypothesis (1e) examining if the introduction of BREAK can eliminate the serial position effect has not been supported. Research task 2 was related to the attempt to eliminate the HALO effect in reviewers' evaluations. HALO effect manifests itself in a very high correlation of partial grades. A hypothesis was formulated that the strength of HALO effect may be influenced by the way of evaluating a series of objects: OBJECT evaluation (when evaluating object 1 on all dimensions, then object 2…Or DIMENSION evaluation (when evaluating objects on dimension 1, then all objects on dimension 2…). Hypothesis (H2) was confirmed. The third research task concerned the impact of cognitive overload, that many academics are prone to due to the uncontrolled increase of information. One of the main sources of overload are scientific publications. Not only the number of publications increased, but also the volume and complexity of publications increased, including the number of citations. In study 3 author examined the consequences of using two different citation standards: in the middle of the text (e.g. APA) vs at footnote (e.g. Chicago/Turabian). It was assumed that footnotes placed in brackets in the middle of the text unnecessarily overload the reader's mind. Two hypotheses were tested and confirmed: (H3a) The middle citations cause greater distraction of the attention of the "reviewers" than the footnotes; (H3b) The evaluation of the project is influenced by the psychoenergetic state of the "reviewer": it is increased by a stronger motivation, it decreases with: a higher degree of fatigue and a higher degree of distraction. The dissertation also included the results of the fourth research task, which involved conducting in-depth interviews with 35 reviewers. All interviews have been transcribed and are presented synthetically in Part 3.