Computational Methods for Analysis of the Tumor Microenvironment in Histopathological Images

W dziedzinie wizji komputerowej (ang. computer vision) na przestrzeni lat powstało wiele niskopoziomowych deskryptorów obrazowych, których zadaniem jest zakodowanie semantycznej zawartości obrazów cyfrowych. Te deskryptory mogą być wykorzystane w wielu zastosowaniach. Jednym z nich jest tzw. wyszukiwanie obrazów na podstawie zawartości (ang. content-based image retrieval). Problem ten wymaga, aby deskryptory były w stanie wychwycić wiele aspektów zawartości obrazu, co jest zadaniem niebanalnym. Innym zastosowaniem dla deskryptorów obrazowych jest klasyfikacja obrazów. Dzięki rozwojowi głębokiego uczenia maszynowego (ang. deep learning), możliwe stało się odejście od klasycznej ręcznej inżynierii cech (ang. feature engineering) i zamiast tego generowanie cech bezpośrednio z danych obrazowych. Fakt ten sprawił, że klasyfikacja obrazów zyskała na znaczeniu w dotychczas trudnych dziedzinach, takich jak patologia cyfrowa (ang. digital pathology). Automatyczna klasyfikacja typów tkanek w obrazach histopatologicznych stwarza ogromny potencjał do rozwoju badań nad rakiem. Wynika to z tego, że taka klasyfikacja umożliwia kwantyfikację zawartości mikrośrodowiska rakowego (ang. tumor microenvironment). W tej rozprawie opisujemy zastosowanie informatywnych deskryptorów obrazowych w kilku dziedzinach, z naciskiem na patologię cyfrową. Pokazujemy, że tradycyjne niskopoziomowe deskryptory obrazowe mogą być użyte do zbudowania systemu do wyszukiwania obrazów na podstawie zawartości, ale są ograniczone przez swój brak pojemności semantycznej. Następnie, opisujemy dokładny, niezawodny i aktywny system do klasyfikacji histopatologicznych wycinków tkanek, wykorzystujący ARA-CNN - Bayesowski model głębokiego uczenia maszynowego. Analizujemy kilka aspektów związanych z estymacją niepewności w modelach tego typu, poprzez badanie aktywnego uczenia (ang. active learning) oraz problemu wykrywania szumu w klasach treningowych. W dalszej kolejności przedstawiamy jak segmentacja slajdów histopatologicznych z użyciem metod głębokiego uczenia maszynowego może być użyta w celu wyznaczenia nowatorskich deskryptorów przestrzennych do podsumowania mikrośrodowiska rakowego. Pokazujemy, że te deskryptory wyliczone z obrazów pozwalają na przewidywanie przeżycia pacjentów oraz klasyfikację mutacji genów w raku płuc, będąc jednocześnie łatwymi do interpretacji dla człowieka. Podsumowując, rozprawa ta jest krokiem naprzód w badaniach mikrośrodowiska rakowego, a jej zawartość ma potencjał do bycia wykorzystaną w praktyce medycznej przez lekarzy patologów.

The field of computer vision developed a range of low-level image features over the years, which try to encode semantic content of digital images. These features can be used in many applications, one of which is content-based image retrieval. Finding similar images requires the features to capture many aspects of image content and thus it is a quite challenging task. Another application for image features is image classification. Thanks to advancements in deep learning, it is now possible to eschew manual feature engineering altogether and generate image features from raw image data. This development made image classification possible in many previously challenging fields, such as digital pathology. Automatic classification of tissue types in histopathological slides has enormous potential to advance cancer research, as it allows to quantify the tumor microenvironment. In this work, we explore application of informative image features in several domains, with the main focus put on digital pathology. We show that traditional low-level image features can be used to build a content-based image retrieval system, but are limited by their lack of semantic capacity. Next, we present an accurate, reliable and active framework for classification of histopathological tissue patches, which utilizes a Bayesian deep learning model, ARA-CNN. We study several aspects connected to uncertainty estimation in such models, exploring active learning and label noise detection. We then present how deep learning-based segmentation of histopathological slides can be used to introduce novel spatial features for tumor microenvironment quantification. We show that these image-based features are capable of predicting patient survival and classifying gene mutations in lung cancer, and are human-interpretable at the same time. In summary, this work is a step forward in studying the tumor microenvironment and has the potential to be utilized in medical practice by pathologists.