Robust deepfake detection using Long Short-Term Memory networks for video authentication

Developments achieved in recent years have propelled techniques for generating and manipulating multimedia content to attain an exceptionally high degree of realism. According toa survey, 25 percent of the videos viewers watch are fake. The increasingly blurred distinction between authentic and synthetic media presents significant security concerns, with the potential for exploitation in various domains. These threats encompass the manipulation of public opinion during electoral processes, perpetration of fraudulent activities, dissemination of disinformation to discredit individuals or entities, and the facilitation of blackmail schemes. Detecting fakes is tricky and difficult for viewers who are watching them, with studies showing that over 70 percent struggle to identify them accurately. To counter this issue, we envision this project whose primary goal is to construct a model that is capable of distinguishing between deepfake and authentic videos. Our proposed model operates at the video level, analyzing entire videos at once to provide a comprehensive assessment. The dataset utilized for training and evaluation is sourced from repositories such as DFDC, FaceForensics++ and Celeb-DF. The dataset sourced from DFDC and Celeb-Df are converted into frames from videos, in this architecture first face recognition tool is used for detecting the faces, followed by ResNext for feature extraction and then LSTM is used to classify the videos.

---

W ostatnich latach techniki generowania i manipulowania treściami multimedialnymi osiągnęły wyjątkowo wysoki stopień realizmu. Według badań, 25 procent wideo oglądanych przez widzów jest fałszywych. Coraz bardziej zacierająca się różnica między autentycznymi a syntetycznymi mediami stwarza poważne obawy dotyczące bezpieczeństwa, z możliwością wykorzystania w różnych dziedzinach. Zagrożenia te obejmują manipulowanie opinią publiczną podczas procesów wyborczych, popełnianie oszustw, rozpowszechnianie dezinformacji w celu zdyskredytowania osób lub podmiotów oraz ułatwianie szantażu. Wykrywanie fałszywych wideo jest trudne, a badania pokazują, że ponad 70 procent widzów ma trudności z ich dokładną identyfikacją. Aby przeciwdziałać temu problemowi, opracowaliśmy niniejszy projekt, którego głównym celem jest skonstruowanie modelu zdolnego do odróżniania deepfake’ów od autentycznych informacji wideo. Proponowany model działa na poziomie wideo, analizując całych wideo jednocześnie, zapewnić ich kompleksową ocenę. Zbiór danych wykorzystany do szkolenia i oceny pochodzi z repozytoriów takich jak DFDC, FaceForensics++ i Celeb-DF. Zbiory danych pochodzące z DFDC i Celeb-Df są konwertowane na klatki; w tej architekturze pierwsze narzędzie do rozpoznawania twarzy jest używane do ich wykrywania, następnie ResNext do ekstrakcji cech, a LSTM jest używany do klasyfikacji wideo.