Development of single- and multimodal models of automatic emotion prediction

Automatyczne rozpoznawanie emocji staje się coraz popularniejszym kierunkiem badań. Znajduje potencjalne zastosowania w robotyce, przemyśle rozrywkowym, nauce i wielu innych. Rozwój uczenia maszynowego oraz dostępność coraz lepszych zbiorów danych pozwala na próby tworzenia modeli predykcji emocji. W niniejszej pracy przedstawiono istotnie informacje dotyczące emocji, źródła, na podstawie których można je rozpoznawać oraz ich reprezentację w systemach komputerowych. Następnie omówiono podstawy uczenia maszynowego, z naciskiem na maszyny wektorów nośnych, lasy losowe oraz sieci neuronowe. Na koniec stworzono trzy modele, które przewidują cztery, sześć oraz osiem emocji na podstawie cech uzyskanych z elektrokardiografi i reakcji skórno-galwanicznej.

Automatic emotion prediction steadily gains more and more popularity. There are numerous potential use cases in robotics, entertainment, teaching and many other areas. The development of machine learning and increasing availability of better and better datasets enables new attempts at creating systems capable of predicting emotions. This thesis outlines the most important aspects of emotions relevant to the topic. Starting with possible sources which give information about emotional state, like facial expression, speech or biosignals, and finishing with representations of emotions in a computer system. Next the basics of machine learning are presented, followed by more in-depth explanation of support vector machines, random forests and neural networks. Finally, three models for automatic prediction of four, six and eight emotions based on electrocardiography and electrodermal activity are proposed.