Evaluating inter-site replicability and data harmonization of task-based fMRI data

Odkąd uwaga psychologów została zwrócona na kryzys replikowalności w badaniach psychologicznych, rozpoczął się wzrost świadomości potrzeby stosowania solidnych metodologii i przejrzystych praktyk raportowania wyników badań, zarówno w psychologii eksperymentalnej, jak i w neuronauce (Vazire, 2018; Hensel, 2020; Nosek i in., 2022). Jednakże, efektywność interwencji mających na celu poprawę replikowalności, takich jak harmonizacja danych, wymaga dalszej oceny (Nosek i in., 2022). Zagadnienie harmonizacji danych jest szczególnie istotne w badaniach neuroobrazowych, które mają zazwyczaj małą moc, co wpływa na ich replikowalność (Turner i in., 2018; Kampa i in., 2020). Z tego powodu, celem tej analizy jest ocena efektywności harmonizacji danych z funkcjonalnego rezonansu magnetycznego (fMRI) pochodzących z pięciu ośrodkach badawczych zaangażowanych w badanie DynaM-OBS, część projektu DynaMORE (Wackerhagen i in., 2022). Na podstawie danych z zadania fMRI dotyczącego warunkowania strachu od N = 199 uczestników z pięciu ośrodków współpracujących w ramach projektu, osiem różnych modeli zawierających dane zharmonizowane z wykorzystaniem ComBat (Fortin i in., 2017; Fortin i in., 2018; Johnson i in., 2006) porównano z danymi niezharmonizowanymi pod względem współczynników korelacji wewnątrzklasowej (ICC). Analizy wykazały, że we wszystkich modelach zaobserwowano istotny wzrost wartości ICC dla danych pochodzących z różnych ośrodków, w porównaniu z danymi niezharmonizowanymi, co świadczy o skuteczności harmonizacji danych. Co więcej, wykazano, że większość modeli osiągnęła zadowalające rozmiary efektów. Jednakże modele, które kontrolowały różnice między ośrodkami, a nie różnice związane z protokołem, mogą być najlepszymi z modeli. Biorąc pod uwagę powyższe, niniejsze badanie dostarcza dowodów na skuteczność harmonizacji danych w projektach wieloośrodkowych, co potwierdza doniesienia z literatury (Fortin i in., 2017; Fortin i in., 2018; Marzi i in., 2024). Co więcej, niniejsze badanie przedstawia nowe spojrzenie na decyzje metodologiczne dotyczące modeli harmonizacji danych, pokazując, że kontrolowanie różnic między ośrodkami zapewnia odpowiednią skuteczność harmonizacji danych w porównaniu z modelami kontrolującymi różnice związane z protokołem.

Since the attention of psychologists has been brought to the subject of the crisis of replicability in psychological research, a rising awareness of the need for robust methodologies and transparent reporting practices has emerged, both in experimental psychology and in neuroscience (Vazire, 2018; Hensel, 2020; Nosek et al., 2022). However, the effectiveness of the interventions that aim to improve replicability, such as data harmonization, needs to be further assessed (Nosek et al., 2022). This issue is especially important in the neuroimaging studies that tend to be underpowered, which affects their replicability (Turner et al., 2018; Kampa et al., 2020). This is why the aim of this analysis is to assess the effectiveness of harmonization of functional magnetic resonance imaging (fMRI) data across the five study sites of DynaM-OBS study, a part of the DynaMORE project (Wackerhagen et al., 2022). Based on the fMRI data for fear-conditioning task from N = 199 participants from five project sites, eight different models containing data harmonized with the use of ComBat (Fortin et al., 2017; Fortin et al., 2018; Johnson et al., 2006) were compared to the unharmonized data in terms of intraclass correlation coefficients (ICCs). Analyses showed that in all models, a significant increase in ICC values was observed for between-sites ICCs as compared with the non-harmonized values, proving the effectiveness of data harmonization. Moreover, it was shown that most of the models achieved satisfactory effect sizes, but the models that controlled for site differences and not for protocol-related differences, might be the best fitted models. Given the above, this study provides evidence of the effectiveness of data harmonization in multi-site projects, which is consistent with existing literature (Fortin et al., 2017; Fortin et al., 2018; Marzi et al., 2024). Moreover, this study presents a new perspective on methodological decisions concerning data harmonization models by showing that site-related differences offer an adequate effectiveness of data as compared to models that control for protocol-related differences.