Visualisation methods of artifical neurons activation optimization

Overview of popular convolutional neural networks architectures along with different approaches to visualisation of activation of their artifical neurons. A neural networks supervised learning is described using the example of convolutional neural network LeNet-5. LeNet-5 has its weights visualised and then analyzed. Feature maps are being presented as the source of knowledge that convolutional networks tend to generalize the features as depth of their layer increases. A VGG-19 network architecture was presented with it's layers visualised by maximizing their mean activation. Then, result of maximizing the output activation for one of the classes was presented to show that VGG-19 is not classifying objects the same way as humans do. A neural style transfer was presented as the practical use case example of convolutional neural networks in artistic like effect generation. In the last chapters an Inception network architecture was described and its neurons visualised. Using the Inception a DeepDream effect was presented.

Prezentacja popularnych architektur sieci konwolucyjnych oraz sposobów wizualizacji aktywacji ich neuronów. Praca obejmuje w swoim zakresie problematykę treningu sieci neuronowej z nauczycielem, na przykładzie sieci konwolucyjnej LeNet-5. Sieć ta jest następnie analizowana pod kątem wag, które zostały ustalone na jej warstwach za pomocą algorytmu gradientu prostego. Zaprezentowano i zdefiniowano mapy cech - jako źródło wiedzy o tym, że konwolucyjne sieci neuronowe tym bardziej generalizują cechy obrazu, im głębsza jest ich warstwa. Zaprezentowano architekturę sieci VGG-19 i zwizualizowano aktywację jej neuronów poprzez maksymalizację mediany ich aktywacji. Zaprezentowano, co VGG-19 traktuje jako przedstawiciela jednej z klas, którą klasyfikuje jako przykład na to, że VGG-19 nie uchwyca cech danego obiektu w taki sam sposób, jak robi to człowiek. Odbyło się to na podstawie maksymalizacji aktywacji tej klasy. Następnie zaprezentowano technikę neuronowego transferu stylu wraz z przykładowym efektem, by pokazać praktyczne zastosowanie konwolucyjnych sieci neuronowych. W ostatnich rozdziałach został poruszony temat konwolucyjnej sieci Incepcja i na jej podstawie wygenerowano efekt DeepDream.