Synteza i klonowanie głosu. Analiza technik syntezy mowy, wektorów ataków i metod detekcji

Niniejsza praca podejmuje problematykę detekcji syntetycznie generowanej mowy w scenariuszach dostępu logicznego, ze szczególnym uwzględnieniem bezpieczeństwa systemów automatycznej weryfikacji mówcy (ASV). Celem badań było opracowanie skutecznego klasyfikatora odróżniającego mowę autentyczną od sfałszowanej oraz weryfikacja możliwości jego uruchomienia w środowisku mobilnym na urządzeniu z systemem Android. W ramach metodologii przeprowadzono analizę porównawczą klasycznej inżynierii cech oraz modeli głębokiej reprezentacji mowy opartych na uczeniu samo-nadzorowanym (SSL). Ewaluacja na zbiorze ASVspoof 5 wykazała podatność metod tradycyjnych na nowoczesne ataki adwersarialne (EER = 35,22%), podczas gdy implementacja architektury WavLM pozwoliła na znaczną redukcję błędu (EER = 8,32% dla wariantu Large). Próby wdrożeniowe modelu w formacie PyTorch Mobile potwierdziły jego wykonalność obliczeniową na urządzeniach końcowych (czas inferencji ~2 s), uwypuklając jednocześnie restrykcje systemowe polityki prywatności Androida, blokujące nasłuch połączeń w czasie rzeczywistym. W ramach pracy przeprowadzono również ewaluację uprzednio wytrenowanego modelu WavLM Base+ na najnowocześniejszych generatorach komercyjnych (m.in. ElevenLabs, OpenAI). Zidentyfikowano w niej zjawisko hiperrealizmu, w którym perfekcyjne akustycznie próbki syntetyczne klasyfikowane są z wyższą ufnością jako ludzkie niż zaszumiona mowa naturalna, co skutkuje odwróceniem wskaźnika EER (> 50%). Praca dowodzi istnienia krytycznej luki generalizacyjnej i wskazuje, że uodpornienie współczesnych systemów weryfikacji mówcy wymaga treningu na zróżnicowanych danych, symulujących rzeczywiste środowisko akustyczne oraz eksponujących model na najnowsze technologie syntezy mowy i konwersji głosu.

This thesis addresses the problem of detecting synthetically generated speech in logical access scenarios, with a particular focus on the security of automatic speaker verification (ASV) systems. The aim of the research was to develop an effective classifier distinguishing authentic speech from spoofed audio and to verify the feasibility of its deployment in a mobile environment on an Android device. The methodology involved a comparative analysis of classical feature engineering and deep speech representation models based on self-supervised learning (SSL). Evaluation on the ASVspoof 5 dataset demonstrated the vulnerability of traditional methods to modern adversarial attacks (EER = 35.22%), whereas the implementation of the WavLM architecture yielded a significant error reduction (EER = 8.32% for the Large variant). Deployment trials of the model in the PyTorch Mobile format confirmed its computational feasibility on edge devices (inference time of ~2 s), while simultaneously highlighting the systemic restrictions of Android's privacy policy that prevent real-time call interception. Furthermore, a previously fine-tuned WavLM Base+ model was evaluated against state-of-the-art commercial generators (e.g., ElevenLabs, OpenAI). This evaluation identified the phenomenon of hyperrealism, wherein acoustically flawless synthetic samples are classified as human with higher confidence than noisy natural speech, resulting in an inverted EER score (> 50%). The thesis proves the existence of a critical generalization gap and concludes that enhancing the robustness of modern speaker verification systems requires training on diverse data that simulate real-world acoustic environments and expose the model to the latest speech synthesis and voice conversion technologies.