Ethical implications of the use of therapeutic chatbots

W świetle ograniczonej dostępności usług z zakresu zdrowia psychicznego, samopomocowe aplikacje mobilne jawią się potencjalnie jako dobrze skalowalne i szeroko dostępne rozwiązanie. Rozwój w dziedzinie przetwarzaniu języka naturalnego umożliwił szersze użycie agentów konwersacyjnych, czyli chatbotów, w ramach aplikacji mobilnych. Jednak wprowadzanie nowych technologii do tak wrażliwego obszaru jak psychoterapia wymaga dokładnej analizy potencjalnych konsekwencji. Ta praca ma na celu ocenę wykorzystania terapeutycznych chatbotów z perspektywy etycznej, czerpiąc z czterech zasad bioetyki wprowadzonych przez Beauchampa i Childressa. Aby ocenić, czy chatboty terapeutyczne są zgodne z zasadą dobroczynności, praca przedstawia dowody dotyczące skuteczności dotychczas badanych chatbotów. Następnie dostępne w sklepie Google Play chatboty terapeutyczne są oceniane pod kątem istnienia i jakości badań potwierdzających ich skuteczność. Chatbot terapeutyczny, Wysa, zostaje porównany z chatbotami nie-terapeutycznymi, aby określić, czy wykorzystanie chatbotów nie-terapeutycznych w sytuacji kryzysu zdrowia psychicznego stanowi zagrożenie dla dobrostanu użytkownika. Badane są możliwe sposoby ograniczenia niepożądanych efektów, takich jak tworzenie dyskryminujących treści i udzielanie niebezpiecznych porad. Większa dostępność pomocy, do której prowadzi rozwój technologii, zostaje przeciwstawiona tendencji modeli uczenia maszynowego do reprodukowania istniejących uprzedzeń. Na koniec omawiane są zagrożenia dla prywatności i świadomej zgody. Chatboty, których skuteczność została zmierzona w badaniach, wydają się być efektywną pomocą dla przeciążonych systemów ochrony zdrowia psychicznego. Jednakże większość chatbotów pobieranych ze sklepu Google Play nie posiada odpowiednich badań potwierdzających ich skuteczność. Ponadto, chatbot terapeutyczny wypadł gorzej niż chatboty nie-terapeutyczne w sytuacji symulowanej rozmowy z osobą w kryzysie w większości ocenianych aspektów, w szczególności w rozpoznawaniu i interwencji w sytuacjach zagrażających bezpieczeństwu. To sugeruje, że specjalizacja chatbotów może nie być najlepszym sposobem na uzyskanie chatbotów skutecznych w terapii. Chociaż terapeutyczne chatboty pomagają zmniejszyć nierównomierność dostępu do pomocy poprzez zwiększenie dostępności usług w zakresie zdrowia psychicznego, ta poprawa nastąpi szybciej w regionach, w których używa się bardziej popularnych języków. Chatboty, dopóki tworzone są dla optymalizacji zysku finansowego, mogą stanowić zagrożenie dla autonomii użytkownika poprzez reklamowanie produktów w sytuacjach imitujących przymierze terapeutyczne i wykorzystywanie danych bez uzyskania świadomej zgody od użytkownika.

In light of the limited availability of mental health services, self-help mobile applications emerge as a potentially scalable and accessible solution. Recent advancements in Natural Language Processing have propelled the popularity of conversational agents, or chatbots, within mobile applications. However, integrating new technologies into the sensitive realm of therapy necessitates a careful scrutiny of potential implications. This thesis aims to evaluate the use of therapeutic chatbots from the ethical perspective drawing from the four principles of bioethics introduced by Beauchamp and Childress. To evaluate whether therapeutic chatbots align with the principle of beneficence, evidence regarding their efficacy is reviewed. Then therapeutic chatbots from the Google Play mobile store are assessed for the existence and quality of research backing up their efficacy. Therapeutic chatbot, Wysa, is compared to the general purpose chatbots in order to determine if the use of general purpose chatbots in the mental health crisis scenario poses a threat to the user’s well-being. Possible ways to limit undesirable outputs such as discrimination and encouraging dangerous behaviours are examined. The greater accessibility of help is clashed with the tendency of machine learning models to reproduce existing biases. Lastly, the threats to privacy and informed consent are discussed. The chatbots, when researched, seem to be an effective aid for the overburdened mental health services. However, the most downloaded chatbots lack adequate research to determine their efficacy with the exception of Woebot. Moreover, therapeutic chatbot was outperformed by the general purpose chatbots in most of the aspects, including recognition and intervention in the safety-threatening situation, what suggests that the specialisation of chatbots may not be the best way to obtain chatbots effective in therapy. Although therapeutic chatbots help to reduce unjust access to help by increasing the availability of mental health services, this improvement will be faster in the regions speaking in more popular languages. The chatbots, as long as they operate for the financial gain, may pose a threat to user’s autonomy by marketing products in the situation mimicking therapeutic alliance and using data without obtaining adequately informed consent from the user.