Analysis of neuroscience-inspired intervention restoring the plasticity of bimodal artificial neural networks in the context of critical learning periods

Niniejsza praca bada sposób przywracania plastyczności w bimodalnych głebokich sieciach neuronowych inspirowany ostatnimi wynikami w neuronauce. Zaprezentowana metoda śledzi badania nad amblyopią, jej powstawaniem i sposobami jej wyleczenia, aby wykazać zaob- serwowane parallele między dwoma obszarami badań, natomiast narzędzia zaczerpnięte z ostatnich prac nad analizą okresów krytycznych uczenia się w jednomodlanych oraz bimodal- nych głebokich sieciach neuronowych, służą pomocą przy analizie dynamiki zmian w gałęziach sieci bimodalnej, które zachodzą podczas okresu krytycznego i po zastosowanej interwencji. W pierwszej kolejności zaprezentowane zostało iż wprowadzenie korupcji do danych będą- cych wejściem do jednej z gałęzi sieci bimodalnej, prowadzi do mniejszego polegania, podczas predykcji, na wagach tej gałęzi, w stosunku do drugiej gałęzi, w dalszym ciągu treningu, nawet wtedy gdy korupcja ta została usunięta. Następnie, stopien zaobserwowanej dysproporcji miedzy gałęziami skorelowano ze skutecznością klasyfikacji na zbiorze testowym w finalnym etapie treningu przed i po interwencji, wskazując na lepszą skuteczność klasyfikacji gdy model polega na obu gałęziach w równym stopniu. Głównym wynikiem tej pracy jest potwierdzenie że zaprezentowana metoda korekcji poprawia skuteczność klasyfikacji, na zbiorach Fashion MNIST oraz CIFAR10, po okresie deprywacyjnym, mimo istnienia prac twierdzących iż zdol- ność generalizacji bimodalnych głebokich modeli w finalnej fazie treningu jest przesądzona już na wczesnym etapie. Dodatkowe eksperymenty wskazują na stopień dysproporcji polegania na gałęziach sieci bimodalnej, w zależnosci od doboru hiperparametrów - większy learning rate lub większy weight decay prowadzą do większej dysproporcji.

This study explores a method for restoring plasticity in bimodal deep neural networks, drawing inspiration from recent advancements in neuroscience. The method presented here builds upon research into amblyopia, focusing on its onset and treatment methods, to highlight the parallels between the two research areas. Moreover, tools derived from recent studies on the analysis of critical learning periods in unimodal and bimodal deep neural networks assist in analyzing the dynamics of changes in the branches of the bimodal network that occur during the critical period and after applied intervention. Firstly, the study demonstrates that introducing corrupted (blurred) data to one branch of the bimodal network reduces the network’s reliance on that branch’s weights for predictions. This effect persists throughout the training process, even after removing the corrupted data. The study then correlates the degree of imbalance between the network’s branches with the classification accuracy on the test dataset. This is observed both before and after the intervention, suggesting that models with balanced reliance on both branches achieve better classification accuracy. A key finding of this study is that the correction method improves classification accuracy on Fashion MNIST and CIFAR10 dataset following a deprivation period. This finding challenges existing claims that the generalization capability of bimodal deep models in the final training phase is determined early in the training process. Further experiments reveal that the choice of hyperparameters, such as a higher learning rate or increased weight decay, significantly influences the degree of imbalance in the network’s reliance on its branches.