Tytuł pozycji:
Visual Emotion Recognition based on transfer learning technique using VGG16
Visual emotion recognition is one of the active topics nowadays. Recognizing emotions from a sequence of moving images still shows some difficulty in correctly detecting the exact features due to facial movement in the first place. Especially the movement of the mouth when pronouncing the sentence while producing emotions, which mainly affects the appearance of facial features. Thus, in this work, we focus on emotion recognition from facial expressions expressing speech. The deep neural network used in this work is VGG16 which is considered to be an effective neural network for detection and classification tasks, and can mainly be adaptable with transfer learning, technique. The presented method is conducted on the Video-speech category where we work on the detection of six classes of emotions which are: neutral, calm, happy, sad, angry and fearful, where the precision obtained is 78.12%.
Wizualne rozpoznawanie emocji jest obecnie jednym z aktywnych tematów. Rozpoznawanie emocji na podstawie sekwencji ruchomych obrazów nadal wiąże się z pewnymi trudnościami w prawidłowym wykryciu dokładnych cech, przede wszystkim na podstawie ruchu twarzy. Zwłaszcza ruch ust podczas wymawiania zdania podczas wywoływania emocji, który wpływa głównie na wygląd rysów twarzy. Dlatego w tej pracy skupiamy się na rozpoznawaniu emocji na podstawie mimiki wyrażającej mowę. Głęboka sieć neuronowa wykorzystana w tej pracy to VGG16, która jest uważana za skuteczną sieć neuronową do zadań wykrywania i klasyfikacji i może być dostosowywana głównie do techniki transferu uczenia się. Prezentowana metoda opiera się na kategorii Wideo-mowa, gdzie pracujemy nad detekcją sześciu klas emocji, którymi są: neutralna, spokojna, szczęśliwa, smutna, zła i pełna strachu, gdzie uzyskana precyzja wynosi 78,12%.
Opracowanie rekordu ze środków MNiSW, umowa nr POPUL/SP/0154/2024/02 w ramach programu "Społeczna odpowiedzialność nauki II" - moduł: Popularyzacja nauki i promocja sportu (2025).
