False respondents in Web Human Resource Surveys

Ankiety internetowe stały się dominującą formą gromadzenia danych w naukach o zarządzaniu. Niestety łatwość zbierania danych nie towarzyszy staranności metodologicznej w analizach danych. Niektórzy respondenci nie czytają uważnie pytań, udzielając przypadkowych odpowiedzi, więc nazywa się ich FAŁSZYWYMI/nieuważnymi respondentami. Nieuwaga może być globalna (całość lub większość ankiety) lub lokalna (gdy respondenci nie zwracali uwagi odpowiadając na blok pytań, ale odpowiadali na inne z należytą starannością). FAŁSZYWYCH respondentów można łatwo zauważyć podczas wywiadu, ale wykrycie ich w ankiecie online jest trudne. Nierzetelne dane mogą zmienić korelacje, utrudnić analizę i ocenę wyników, zmniejszyć moc statystyczną i wielkość efektu oraz obniżyć spójność wewnętrzną. Rozprawa ma na celu opracowanie i przetestowanie PROCEDURY wykrywania FAŁSZYWYCH RESPONDENTÓW. Przegląd literatury kończy się identyfikacją czterech sygnałów ostrzegawczych na podstawie: WS1: czas odpowiedzi, WS2: pytania sprawdzające uwagę, WS3: styl odpowiedzi i liczba odpowiedzi beztreściowych oraz WS4: deklaratywne i behawioralne środki współpracy. Wykonano dwa zadania badawcze: (1) oszacowanie poziomu nieuwagi, (2) oszacowanie konsekwencji ignorowania problemu oraz przetestowanie przydatności procedury FLEXMIX (skończone mieszaniny uogólnionych modeli regresji) do wykrywania fałszywych respondentów. Przeanalizowano dziewięć zbiorów danych z ankiet internetowych z łączną liczbą 5645 respondentów oraz trzy zbiorych danych nieinternetowych (oparte na wywiadach bezpośrednich) – polskie próby z World Values Survey i European Working Conditions Survey, w sumie 3169 respondentów. Odsetek fałszywych respondentów zależał od ankiety. Najwyższy wyniósł 71% dla danych z komercyjnego panelu online, najniższy 22,1%. Aby oszacować konsekwencje ignorowania obecności FAŁSZYWCH respondentów w zbiorze danych, porównano rzetelność pomiaru (operacjonalizowanego przez Alfę Cronbacha) w 2 grupach. Dla pierwszej grupy UWAŻNYCH (którzy przeszli wszystkie testy) respondentów alfy Cronbacha były zgodne z założeniami teoretycznymi. Dla drugiej grupy FAŁSZYWYCH respondentów wiarygodność tego samego wskaźnika była wyjątkowo niska (w niektórych przypadkach nawet ujemna – co jest najlepszym dowodem na to, że FAŁSZYWY respondent nie zauważył odwróconych pytań). Praca kończy się przedstawieniem procedury wykrywania respondentów FAŁSZYWYCH, które mogą (i powinny) być używane przez wszystkich badaczy. Wyniki moich analiz nie mogą być uogólniane na wszystkie dane zebrane w ankietach internetowych, ponieważ analizowane zbiory danych pochodzą z badań, które zostały starannie zaplanowane i prowadzone na grupach osób, które mogły wziąć udział tylko za zaproszeniem (pracownicy zarejestrowani w panelu handlowym, pracownicy studiujący na Wydziale Zarządzania). Wszyscy respondenci byli dodatkowo zmotywowani do udziału i zostali poinformowani z wyprzedzeniem że ich odpowiedzi zostaną poddane procedurze wykrywania FAŁSZYWYCH respondentów. Można przewidywać, że dane uzyskane z ankiet, które miały linki szeroko udostępniane w mediach społecznościowych platformy medialne (takie jak Facebook) zawierają znacznie wyższy odsetek FAŁSZ respondentów, którzy odpowiadali losowo, ponieważ m.in. stracili motywację, podczas gdy odpowiadając na pytania, ale byli ciekawi następnej strony. Te ankiety są często kiepskie zaprojektowane (np. bez dawania respondentom możliwości wybrania „Nie wiem” odpowiedź). Analizy przeprowadzone na nieoczyszczonych danych mogą prowadzić do FAŁSZYWYCH wniosków, które, jeśli: włączone do obiegu naukowego, szkodzą rozwojowi badań nad zarządzaniem. Teorie ZZL potwierdzone stronniczymi (niewiarygodnymi) danymi nie są aktualne, więc respondenci FAŁSZYWY wykrywanie jest ważnym zadaniem poprzedzającym analizę.

Web surveys have become the dominant form of data collection in management sciences.Unfortunately, the ease of data collection does not accompany methodological diligence in data analyses. Some respondents do not read questions carefully, giving random answers, so they are called FALSE/inattentive respondents. Inattention may be global (whole or most of the survey) or local (when respondents were inattentive when answering a block of questions but answered others with due diligence). FALSE respondents can be easily spotted during the interview but detecting them in an online survey is difficult. Unreliable data may change correlations, make the analysis and evaluation of the results difficult, decrease statistical power and effect size, and lower internal consistency. The dissertation aims to develop and test PROCEDURE for detecting FALSE RESPONDENTS. Literature review ends with identification of four warning signs based on: WS1: answering time, WS2: attention check questions, WS3: response style and the number of Don’t Know answers, and WS4: declarative and behavioural cooperation measures. Two research tasks were carried out: (1) estimation of the level of inattention, (2) estimation of the consequences of ignoring the problem and testing the usability of the FLEXMIX procedure (finite mixtures of generalized regression models) for detecting FALSE respondents. Nine data sets from online surveys with the total of 5645 respondents and three offline (based on face-to-face interviews) data sets – Polish samples from World Values Survey and European Working Conditions Survey, with the total of 3169 respondents – were analysed. The percentage of FALSE respondents depended on the survey. The highest was 71% for data from the commercial online panel, lowest was 22.1%. To estimate the consequences of ignoring the presence of FALSE respondents in data set, the reliability of the measurement (operationalized by Cronbach’s Alpha) in 2 groups was compared. For the first group of ATTENTIVE (who passed all tests) respondents, Cronbach’s alphas were congruent with theoretical assumptions. For the second group of FALSE respondents, the reliability of the same index was extremely low (in some cases even negative – which is the best proof that the FALSE respondent didn’t notice reversed items). The dissertation ends with presenting a procedure for detecting FALSE respondents, which can (and should) be used by all researchers. The results of my analyses cannot be generalized to all data collected in web surveys, because analysed data sets came from research thas has been carefully planned and conducted on groups of people who could participate by invitation only (employees registered in the commercial panel, employees studying at the Faculty of Management). All respondents were additionally motivated to participate and were informed in advance that their answers would be subjected to the procedure for detecting FALSE respondents. It can be predicted that data obtained from surveys that had links widely shared on social media platforms (like Facebook) contains a much higher percentage of FALSE respondents, who were answering randomly because e.g. they lost motivation while answering questions but were curious about the next page. These surveys are often poorly designed (e.g., without giving respondents the opportunity to choose “Don’t Know” answer). Analyses performed on uncleaned data could lead to FALSE conclusions, which, if incorporated into scientific circulation, harm the development of management research. HRM theories confirmed by biased (not reliable) data are not valid so FALSE respondents detection is an important pre-analysis task.