Spatial Neural Networks for parameters reduction

Głebokie Sieci Neuronowe modernizuję coraz więcej dyscyplin i służą dorozwiązywania coraz większej ilości problemów. Jednakże wraz ze wzrostemprecyzji predykcji, zdolnością to generalizowania, wielozadaniowości posia-dają one coraz większa liczbę parametrów. Z drugiej strony, obecnie badaniaskupiają się na ulepszaniu modeli bazując na optymalizacjach i matema-tycznych reprezentacjach, które coraz bardziej oddalają się od pierwotnejinspiracji - mózgu, a szerzej biologi.W naszej pracy, prezentujemy architekturę która łączy biologię z pro-blemem rosnącej liczby paramterów w sieciach. Architektura ta to SieciNeuronowe Wyłącznie Przestrzenne - sieci których neurony reprezentowanesą jako punkty w przestrzeni Euklidesowej, a ich wagi liczone są na podstawieodległości między nimi. W naszych eksperymentach zbadaliśmy odległości:euklidesową, kernelową oraz uczoną funkcję wag. Sprawdziliśmy również,jak baradzo wymiar przestrzenny sieci wpływa na jej wyniki. Z naszycheksperymentów wynika, że zwiększenie wymiarów przestrzennych sieci polep-sza lekko wyniki, jednakże z tym wzrostem wzrasta intensywnie wskaźnikkompresji sieci. Uczona funcja wag daje najlepsze wyniki z akceptowalnymwskaźnikiem kompresji. Odległość euklidesowa daje najmniejszy wskaźnikkompresji, jednakże z dużym spadkiem precyzji.Proponowana architektura pozwala znacznie zmniejszyć liczbę param-terów (wskaźnik kompresji: 56%), ze spadkiem precyzji o 2.18 punktówprocentowych.

Deep Neural Networks applications modernize more and more disciplinessolving more and more tasks. However, with its greater ability to predict,generalization, representations, multitask grows in parameters quite rapidly.On the other hand, most of the modern research focuses on improvingnetworks potential is based on mathematical operations and shift away fromoriginal inspiration - brains and biology.In our work, we propose an architecture that is both: inspired by neuronsrepresentations similar to biological in brains and its second purpose isto reduce the number of networks parameters. We present Pure SpatialNetworks - a neural network in which neurons are represented as points inEuclidean space, and its weights are based on distances between them. Weexperimentally tested Euclidean distance, kernel-based distance as well asa trained weight function. Additionally, we tested if Pure Spatial Networkefficiency improves with higher space dimensions. From our experiments,we concluded that higher space dimensions can improve network accuracy alittle but with great increase in compression rate, trained weight functiongives the best accuracy with acceptable compression rate, euclidean distancegives the best compression rate however with large accuracy drop.The proposed architecture can drastically lesser parameters number(compression rate: 56%), with the accuracy drop of around 2.18 percentpoints.