PHÁT HIỆN DEEPFAKE DỰA TRÊN HỌC SÂU | Tuấn | TNU Journal of Science and Technology

PHÁT HIỆN DEEPFAKE DỰA TRÊN HỌC SÂU

Thông tin bài báo

Ngày nhận bài: 13/09/23                Ngày hoàn thiện: 24/10/23                Ngày đăng: 25/10/23

Các tác giả

1. Lại Minh Tuấn Email to author, Học viện Kỹ thuật mật mã
2. Phạm Tiến Mạnh, Học viện Kỹ thuật mật mã
3. Đồng Thị Thùy Linh, Học viện Kỹ thuật mật mã

Tóm tắt


Việc các hình ảnh, video deepfake tràn lan trên không gian mạng đang trở thành nguy cơ đe dọa an toàn, an ninh thông tin trong kỷ nguyên số. Bên cạnh đó, trong những năm gần đây học sâu ngày càng phát triển và ứng dụng rộng rãi, các thuật toán ngày càng được cải thiện hiệu suất và độ chính xác đáng kể. Do đó, việc áp dụng bài toán học sâu vào việc phát hiện deepfake là một hướng nghiên cứu thiết thực. Tuy nhiên, khi áp dụng các mô hình học sâu đòi hỏi rất nhiều dữ liệu để giải quyết bài toán hiệu quả cũng như cần nhiều thời gian để thực hiện việc huấn luyện. Một phương pháp được áp dụng phổ biến giúp cải thiện độ chính xác cũng như tận dụng được các pre-trained model có chất lượng tốt và độ chính xác cao được gọi là học chuyển giao. Nghiên cứu này giới thiệu một cách tiếp cận để phát hiện deepfake thông qua việc sử dụng phương pháp học chuyển giao, bao gồm XceptionNet, RestNet101, InceptionResV2, MobileNetv2, VGG19 và DenseNet121 và so sánh với mô hình CNN truyền thống. Thông qua các thử nghiệm trên tập dữ liệu Celeb-DF, chúng tôi chứng minh rằng việc sử dụng học chuyển giao đem lại hiệu suất tốt hơn so với mô hình CNN truyền thống và DenseNet121 cùng trình phân loại softmax hoạt động hiệu quả hơn so với các phương pháp khác.

Từ khóa


Deepfakes; Phát hiện deepfake; Học sâu; Học chuyển giao; Mạng tích chập

Toàn văn:

PDF (English)

Tài liệu tham khảo


[1] L. Nataraj, T. M. Mohammed, B. S. Manjunath, S. Chandrasekaran, A. Flenner, J. H. Bappy, and A. K. Roy-Chowdhury, “Detecting GAN generated Fake Images using Co-occurrence Matrices,” Electronic Imaging, vol. 31, no. 5, pp. 532-1 - 532-7, 2019.

[2] S. Wang, O. Wang, R. Zhang, A. Owens, and A. Efros, "CNN-Generated Images Are Surprisingly Easy to Spot… for Now," in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020, pp. 8692-8701.

[3] C.-C. Hsu, C.-Y. Lee, and Y.-X. Zhuang, “Learning to Detect Fake Face Im-ages in the Wild,” IEEE International Symposium on Computer, Consumer and Control (IS3C), 2018, pp. 388-391.

[4] M. Mirza and S. Osindero, "Conditional Generative Adversarial Nets," 2018. [Online]. Available: https://arxiv.org/abs/1411.1784. [Accessed Sept. 12, 2022]

[5] A. O. J. Kwok and S. G. M. Koh, “Deepfake: a social construction of technology perspective,” Current Issues in Tourism, vol. 24, no.13, pp. 1798–1802, 2021.

[6] M. Westerlund, “The Emergence of Deepfake Technology: A Review,” Technology Innovation Management Review, vol. 9, no. 11, pp. 39–52, 2019.

[7] X. Yang, Y. Li, and S. Lyu, "Exposing deepfakes using inconsistent head poses," in ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2019, pp. 8261-8265.

[8] P. Korshunov and S. Marcel, “DeepFakes: a New Threat to Face Recognition? Assessment and Detection,” 2018. [Online]. Available: http://export.arxiv.org/pdf/1812.08685. [Accessed Dec. 14, 2022].

[9] F. Schroff, D. Kalenichenko, and J. Philbin, "Facenet: A unified embedding for face recognition and clustering," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. 815-823.

[10] A. J. O'Toole, P. J. Phillips, F. Jiang, J. Ayyad, N. Penard, and H. Abdi, "Face Recognition Algorithms Surpass Humans Matching Faces Over Changes in Illumination," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 29, no. 9, pp. 1642-1646, 2007.

[11] K. Simonyan and A. Zisserman, “Very Deep Convolutional Networks for Large-Scale Image Recognition,” 3rd International Conference on Learning Representations (ICLR 2015), Computational and Biological Learning Society 2015, pp. 1–14.

[12] T. Baltrušaitis, P. Robinson, and L.-P. Morency, "Openface: an open source facial behavior analysis toolkit," in 2016 IEEE Winter Conference on Applications of Computer Vision (WACV), 2016, pp. 1-10.

[13] OpenCV: DNN-based Face Detection And Recognition, (n.d.). [Online]. Available: https://docs.opencv.org/4.x/d0/dd4/tutorial_dnn_face.html. [Accessed August 31, 2023].

[14] F. Chollet, “Xception: Deep Learning with Depthwise Separable Convolutions,” Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 1251-1258.

[15] K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 770-778.

[16] S. Ioffe and C. Szegedy, “Batch normalization: Accelerating deep network training by reducing internal covariate shift,” In Proceedings of The 32nd International Conference on Machine Learning, 2015, pp. 448–456.

[16] G. Huang, Z. Liu, L. V. D. Maaten, and K. Q. Weinberger, "Densely Connected Convolutional Networks," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2017, pp. 2261-2269.

[17] M. Sokolova and G. Lapalme, “A systematic analysis of performance measures for classification tasks,” Information Processing Management, vol. 45, no. 4, pp. 427–437, 2009.




DOI: https://doi.org/10.34238/tnu-jst.8754

Các bài báo tham chiếu

  • Hiện tại không có bài báo tham chiếu
Tạp chí Khoa học và Công nghệ - Đại học Thái Nguyên
Phòng 408, 409 - Tòa nhà Điều hành - Đại học Thái Nguyên
Phường Tân Thịnh - Thành phố Thái Nguyên
Điện thoại: 0208 3840 288 - E-mail: jst@tnu.edu.vn
Phát triển trên nền tảng Open Journal Systems
©2018 All Rights Reserved