CẢI TIẾN HÀM MỤC TIÊU TRONG CÁC TẤN CÔNG KHÔI PHỤC ẢNH DƯỚI ĐIỀU KIỆN NÉN GRADIENT TRONG HỌC LIÊN KẾT

Hoàng Văn Phi; Đào Thị Ngà

doi:10.34238/tnu-jst.12360

CẢI TIẾN HÀM MỤC TIÊU TRONG CÁC TẤN CÔNG KHÔI PHỤC ẢNH DƯỚI ĐIỀU KIỆN NÉN GRADIENT TRONG HỌC LIÊN KẾT

Thông tin bài báo

Ngày nhận bài: 21/03/25 Ngày hoàn thiện: 05/06/25 Ngày đăng: 05/06/25

Các tác giả

1. Hoàng Văn Phi, Trường Đại học Kỹ thuật Lê Quý Đôn
2. Đào Thị Ngà , Trường Đại học Kỹ thuật Lê Quý Đôn

Tóm tắt

Các cuộc tấn công khôi phục ảnh đặt ra một mối đe dọa nghiêm trọng đối với quyền riêng tư trong các hệ thống học máy phân tán, ngay cả khi sử dụng nén gradient. Những cuộc tấn công này khai thác thông tin gradient để tái tạo dữ liệu huấn luyện ban đầu, gây ra những lo ngại đáng kể về bảo mật dữ liệu. Nghiên cứu này giới thiệu một phương pháp cải tiến dựa trên DLG nhằm nâng cao độ chính xác khôi phục ảnh dưới điều kiện gradient nén. Phương pháp đề xuất áp dụng kỹ thuật mặt nạ gradient để chọn lọc và giữ lại các thành phần gradient quan trọng, đồng thời có một cải tiến chủ chốt trong việc tích hợp các hệ số điều chuẩn tổng biến thiên và L6-norm nhằm cải thiện độ mượt của ảnh và giảm thiểu hiện tượng méo. Các đánh giá thực nghiệm trên bộ dữ liệu MNIST và CIFAR-100 cho thấy phương pháp cải tiến vượt trội so với DLG truyền thống và phương pháp tấn công HCGLA, đặc biệt ở mức nén cực đoan. Bằng cách giảm thiểu biến dạng hình ảnh trong khi vẫn bảo toàn các chi tiết cấu trúc, phương pháp đề xuất cung cấp những hiểu biết quý giá nhằm nâng cao bảo mật dữ liệu trong học máy phân tán và phát triển các cơ chế phòng thủ mạnh mẽ chống lại các cuộc tấn công dựa trên nén gradient.

Từ khóa

Lộ dữ liệu từ gradients; Tấn công khôi phục ảnh; Học máy phân tán; Bảo mật dữ liệu; Nén gradient

Toàn văn:

PDF (English)

Tài liệu tham khảo

[1] H. B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. Y. Arcas, "Communication-Efficient Learning of Deep Networks from Decentralized Data," in International Conference on Artificial Intelligence and Statistics, 2016, pp. 1273-1282.

[2] J. Geiping, H. Bauermeister, H. Dröge, and M. Moeller, "Inverting Gradients - How easy is it to break privacy in federated learning?," Advances In Neural Information Processing Systems, vol. 33, pp. 16937-16947, 2020.

[3] B. Zhao, K. R. Mopuri, and H. Bilen, "iDLG: Improved Deep Leakage from Gradients," arXiv preprint arXiv:.02610, 2020.

[4] L. Zhu, Z. Liu, and S. Han, "Deep leakage from gradients," in Proceedings of the 33rd International Conference on Neural Information Processing Systems: Curran Associates Inc., 2019, Art. no. 1323.

[5] D. Alistarh, D. Grubic, J. Li, R. Tomioka, and M. Vojnovic, "QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding," in Proceedings of the 31st International Conference on Neural Information Processing Systems, 2017, pp. 1707-1718.

[6] A. F. Aji and K. Heafield, "Sparse Communication for Distributed Gradient Descent," ArXiv, vol. abs/1704.05021, 2017.

[7] H. Yang, M. Ge, K. Xiang, and J. Li, "Using Highly Compressed Gradients in Federated Learning for Data Reconstruction Attacks," IEEE Transactions on Information Forensics and Security, vol. 18, pp. 818-830, 2023.

[8] Y. Lin, S. Han, H. Mao, Y. Wang, and W. J. Dally, "Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training," ArXiv, vol. abs/1712.01887, 2017.

[9] W. Wei et al., "A Framework for Evaluating Gradient Leakage Attacks in Federated Learning," ArXiv, vol. abs/2004.10397, 2020.

[10] J. Jeon, K. Lee, S. Oh, and J. Ok, "Gradient inversion with generative image prior," Advances in neural information processing systems, vol. 34, pp. 29898-29908, 2021.

[11] A. Mahendran and A. Vedaldi, "Understanding Deep Image Representations by Inverting Them," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. 5188-5196.

[12] Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning," Nature, vol. 521, no. 7553, pp. 436-444, 2015.

[13] X. Zhang, Matrix Analysis and Applications. Cambridge University Press, 2017.

[14] L. I. Rudin, S. Osher, and E. Fatemi, "Nonlinear total variation based noise removal algorithms," Physica D: Nonlinear Phenomena, vol. 60, pp. 259-268, 1992.

[15] X. Zhang, M. Burger, and S. Osher, "A Unified Primal-Dual Algorithm Framework Based on Bregman Iteration," Journal of Scientific Computing, vol. 46, pp. 20-46, 2010.

[16] S. P. Boyd and L. Vandenberghe, "Convex Optimization," IEEE Transactions on Automatic Control, vol. 51, pp. 1859-1859, 2010.

font-family:"Times New Roman",serif;mso-fareast-font-family:Calibri;mso-fareast-theme-font:

minor-latin;mso-bidi-theme-font:minor-bidi;mso-ansi-language:EN-US;mso-fareast-language:

EN-US;mso-bidi-language:AR-SA'>

font-family:"Times New Roman",serif;mso-fareast-font-family:Calibri;mso-fareast-theme-font:

minor-latin;mso-bidi-theme-font:minor-bidi;mso-ansi-language:EN-US;mso-fareast-language:

EN-US;mso-bidi-language:AR-SA'>

DOI: https://doi.org/10.34238/tnu-jst.12360

Các bài báo tham chiếu

Hiện tại không có bài báo tham chiếu



Ghi nhớ