GIÁM SÁT LỚP HỌC THÔNG MINH BẰNG NHẬN DIỆN TƯ THẾ

Lê Hùng Linh; Trần Văn Hưng; Dương Đức Tưởng; Vũ Tiến Khải; Nguyễn Ngọc Khoa; Ngô Hữu Huy

doi:10.34238/tnu-jst.13256

GIÁM SÁT LỚP HỌC THÔNG MINH BẰNG NHẬN DIỆN TƯ THẾ

Thông tin bài báo

Ngày nhận bài: 19/07/25 Ngày hoàn thiện: 03/10/25 Ngày đăng: 04/10/25

Các tác giả

1. Lê Hùng Linh, Trường Đại học Công nghệ Thông tin và Truyền thông - ĐH Thái Nguyên
2. Trần Văn Hưng, Trường THPT Chuyên Thái Nguyên
3. Dương Đức Tưởng, Trường Đại học Công nghệ Thông tin và Truyền thông - ĐH Thái Nguyên
4. Vũ Tiến Khải, Trường Đại học Công nghệ Thông tin và Truyền thông - ĐH Thái Nguyên
5. Nguyễn Ngọc Khoa, Trường Đại học Sư phạm - ĐH Thái Nguyên
6. Ngô Hữu Huy , Trường Đại học Công nghệ Thông tin và Truyền thông - ĐH Thái Nguyên

Tóm tắt

Cuộc Cách mạng công nghiệp lần thứ tư đã có tác động to lớn đến quá trình chuyển đổi số trong giáo dục, bởi nó đã thúc đẩy mạnh mẽ việc tích hợp công nghệ hiện đại vào môi trường học tập. Đặc biệt, việc ứng dụng thị giác máy tính và học sâu đã trở thành giải pháp tiềm năng cho việc giám sát và phân tích hành vi học sinh một cách tự động trong lớp học. Nghiên cứu này giới thiệu hai khung phương pháp mới dựa trên điểm khớp tư thế để nhận diện các hành vi phổ biến của học sinh trong lớp học. Quy trình xử lý thứ nhất sử dụng YOLOv8-Pose, một mô hình thời gian thực tích hợp chặt chẽ nhận dạng đối tượng và ước tính tư thế. Quy trình xử lý thứ hai kết hợp Faster R-CNN với HRNet để tạo ra một hệ thống có độ chính xác cao. Các điểm khớp thu được từ cả hai luồng sau đó được đưa vào mạng nơ-ron tích chập, nơi phân loại hành vi của học sinh một cách chính xác. Các kết quả thử nghiệm toàn diện cho thấy nền tảng dựa trên HRNet đạt được độ chính xác vượt trội, phù hợp với các tình huống yêu cầu độ chính xác cao, trong khi YOLOv8-Pose mang lại lợi thế về tốc độ xử lý và triển khai thời gian thực.

Từ khóa

Giám sát lớp học; Faster R-CNN; HRNet; Nhận dạng hành vi học sinh; YOLOv8-Pose

Toàn văn:

PDF

Tài liệu tham khảo

[1] H. Jiang and E. Learned-Miller, “Face Detection with the Faster R-CNN,” in Proc. 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017), Washington, DC, USA, 2017, pp. 650–657.

[2] K. Sun, B. Xiao, D. Liu, and J. Wang, “Deep High-Resolution Representation Learning for Human Pose Estimation,” Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019, pp. 5693–5703.

[3] A. A. Abdelrahman, T. Hempel, A. Khalifa, and A. Al-Hamadi, “L2CS-Net: Fine-Grained Gaze Estimation in Unconstrained Environments,” in Proc. 8th International Conference on Frontiers of Signal Processing (ICFSP), Corfu, Greece, 2023, pp. 1–5.

[4] K. He, X. Zhang, S. Ren, and J. Sun, “Deep Residual Learning for Image Recognition,” in Proc. Computer Vision and Pattern Recognition (CVPR), Las Vegas, Nevada, USA, 2016, pp. 770–778.

[5] G. Huang, Z. Liu, L. van der Maaten, and K. Q. Weinberger, “Densely Connected Convolutional Networks,” in Proc. Computer Vision and Pattern Recognition, Honolulu, Hawaii, 2017, pp. 4700–4708.

[6] A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, and H. Adam, “MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications,” arXiv:1704.04861, pp. 1–9, 2017.

[7] Q. Jia and J. He, “Student Behavior Recognition in Classroom Based on Deep Learning,” Applied Sciences, vol. 14, no. 17, 2024, Art. no. 7981.

[8] R. Zhu, L. Shi, Y. Song, and Z. Cai, “Integrating Gaze and Mouse Via Joint Cross-Attention Fusion Net for Students’ Activity Recognition in E-learning,” in Proc. The ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, New York, NY, USA, vol. 7, 2023, pp. 1–35.

[9] P.-D. Nguyen, N.-T. Le, K.-H. Bui, H.-Q. Nguyen, H.-Q. Nguyen, and T.-L. Le, “A Method for Continuous Student Activity Recognition from Classroom Videos,” International Journal of Machine Learning and Cybernetics, vol. 16, pp. 1–25, 2025.

[10] Y. Ikawati, M. U. H. A. Rasyid, and I. Winarno, “Student Behavior Analysis to Predict Learning Styles Based Felder Silverman Model Using Ensemble Tree Method,” EMITTER International Journal of Engineering Technology, vol. 9, no. 1, pp. 92–106, 2021.

[11] H. Chen, G. Zhou, and H. Jiang, “Student Behavior Detection in the Classroom Based on Improved YOLOv8,” Sensors, vol. 23, no. 20, pp. 1–18, 2023.

[12] Y. Fan, W. Tao, and W. Xiaofei, “Student Classroom Behavior Detection Based on YOLOv7+BRA and Multi-model Fusion,” in Proc. International Conference on Image and Graphics, Nanjing, China, 2023, pp. 41–52.

[13] L. Lin, H. Yang, Q. Xu, Y. Xue, and D. Li, “Research on Student Classroom Behavior Detection Based on the Real-Time Detection Transformer Algorithm,” Applied Sciences, vol. 14, no. 14, pp. 1–15, 2024.

[14] Ultralytics, “YOLOv8 Pose Models,” April, 2023. [Online]. Available: https://github.com/ultralytics/ultralytics/issues/1915. [Accessed May 19, 2025].

[15] Ultralytics, “Pose Estimation,” April, 2023. [Online]. Available: https://docs.ultralytics.com/tasks/pose. [Accessed May 19, 2025].

[16] T. Guo, J. Dong, H. Li, and Y. Gao, “Simple Convolutional Neural Network on Image Classification,” in Proc. 2nd International Conference on Big Data Analysis (ICBDA), Beijing, China, 2017, pp. 721–724.

DOI: https://doi.org/10.34238/tnu-jst.13256

Các bài báo tham chiếu

Hiện tại không có bài báo tham chiếu



Ghi nhớ