Nowy, efektywny mechanizm pobudzania martwych neuronów w sztucznych sieciach neuronowych Kohonena typu WTA

W pracy przedstawiono nowy, efektywny mechanizm pobudzania martwych neuronów, wykorzystywany w samoorganizujących się, sztucznych sieciach neuronowych Kohonena typu WTA (Zwycięzca Bierze Wszystko). Mechanizm ten polega na wyłączeniu (z procesu uczenia) na pewien określony czas neuronu, który wygrał rywalizację w poprzedniej iteracji. Mechanizm ten przy odpowiednim ustawieniu jego parametrów, niezależnie od sposobu przeprowadzenia inicjalizacji wstępnej wag początkowych, gwarantuje pobudzenie wszystkich martwych neuronów w procesie uczenia takich sieci. Neurony martwe mają negatywny wpływ na proces uczenia się sieci i znacznie ograniczaj możliwość jej późniejszego wykorzystania w różnych aplikacjach. Zaproponowany mechanizm może być z łatwością wykorzystany w sieciach WTA, implementowanych w postaci specjalizowanych układów scalonych (ASIC) i być dobrą alternatywą dla istniejących rozwiązań mechanizmu sumienia.

---

The paper presents a novel, effective mechanism to activate dead neurons, which is used in Kohonen selforganizing, artificial neural network WTA type (Winner Takes All). The mechanism relies on exclusion from learning process for some period of time a neuron, which has won the competition in the previous iteration. The mechanism with set of appropriate settings of parameters and regardless of pre-initialization of beginning weights, ensures that all dead neurons become activated in the learning process of such networks. Dead neurons have a negative impact on the network learning process and significantly reduce the possibility of future usage these networks in different applications. The proposed mechanism, can be easily used in WTA networks, implemented as a specialized application in integrated circuits (ASIC) and it can be a good alternative for existing solutions of the conscience mechanism.