Analysis of the cellular environments based on the BERT architecture models

Postępy w obrazowaniu przestrzennym komórek umożliwiły nowe zrozumienie otoczeń komórkowych. Obecnie naukowcy uważają, że to nie sama komórka, lecz komórka w kontekście swojego sąsiedztwa dostarcza informacji o jej funkcji i mechanizmie działania. Modelowanie tych otoczeń jest jednak wyzwaniem z powodu naturalnych niezmienników danych, co sprawia, że większość istniejących podejść opiera się na uproszczonych agregacjach. W tym badaniu wykorzystaliśmy architekturę BERT do kompleksowego modelowania otoczeń komórkowych, unikając takich uproszczeń. Korzystając z danych konsorcjum Immucan, wprowadziliśmy dwa nowe algorytmy: Cell2Vec, adaptację Word2Vec do danych dotyczących otoczeń komórkowych, który wychwytuje wzorce współwystępowania typów komórek, oraz NicheBERT, model oparty na transformatorze z uwzględnieniem informacji przestrzenej do analizy otoczeń komórkowych. Modele te dostarczyły biologicznie istotnych reprezentacji, osiągając doskonałe wyniki w zadaniach klasyfikacji typów komórek i ujawniając kluczowe zależności zarówno na poziomie komórkowym, jak i pacjenta.

The advances in spatial cellular imaging enabled a new understanding of cellular neighborhoods. Nowadays, researchers believe it is not the cell alone but the cell in its neighborhood context that provides complete information about its function and work mechanism. Modeling these neighborhoods is challenging due to the natural invariances of the data, leading most existing approaches to rely on simplified aggregations. In this study, we utilized the state-of-the-art BERT architecture to model cellular neighborhoods comprehensively and avoid such simplifications. Using data from the Immucan consortium, we introduced two novel algorithms: Cell2Vec, an adaptation of Word2Vec for cellular neighborhood data that captures cell type co-occurrence patterns, and NicheBERT, a transformer-based model with spatial graph embeddings for robust neighborhood analysis. These models provided biologically meaningful representations, excelling in cell type classification tasks and revealing key relationships at both the cellular and patient levels.