Facial expressions analysis

The objective of this thesis is to investigate the field of spontaneous facial expression analysis and recognition. Proposed study focuses on detection of aggression based on information encoded in facial behavior. The algorithm consists of several stages: face representation and tracking, feature extraction and emotion detection. The proposed face model specifies prominent facial points and then particle filtering method is applied to track those points in the video. In the feature extraction stage, two categories of features are retrieved to describe the emotion: motion and texture features. Finally, several configurations of feature vector are tested in recognition stage. In the experiment, the Facial Expression and Emotion Database (FEED) was used as a training and testing set for classifier. Results obtained by system suggest that motion description is crucial while recognizing the spontanous emotions. However, the best results were obtained for combination of texture and motion descriptors.

Niniejsza praca przybliża problematykę związaną z badaniem ekspresji mimicznych. Celem pracy była analiza ekspresji spontanicznych pod kątem wykrywania agresji. W eksperymencie wykorzystano bazę danych Facial Expression and Emotion Database utworzoną w ramach projektu FG-NET (Face and Gesture Recognition Research) na uniwersytecie w Monachium. Proponowany system składa się z kilku części, mianowicie: dopasowania modelu twarzy, śledzenia punktów twarzy, ekstrakcji cech oraz klasyfikacji. W rozwiązaniu wykorzystano model twarzy oparty na wyszczególnieniu charakterystycznych dla zadania wykrywania agresji punktów twarzy, które w kolejnej części algorytmu były śledzone przy użyciu filtru cząsteczkowego. Następnie cechy związane z teksturą twarzy wydobyte zostały za pomocą operatora LBP oraz filtrów Gabora. Odpowiednie wektory cech stanowiły zbiór uczący klasyfikatora SVM. Osiągnięte przez system wyniki wskazują na to, że istotną rolę w rozpoznawaniu agresji na podstawie ekspresji mimicznych spełniają cechy związane z dynamiką zmian wyglądu twarzy.