NÂNG CAO HIỆU QUẢ ĐIỀU KHIỂN ROBOT, SỬ DỤNG HỌC TĂNG CƯỜNG KẾT HỢP HỌC SÂU

Lương Thị Thảo Hiếu; Phạm Thị Thùy; Nguyễn Khắc Hiệp

doi:10.34238/tnu-jst.7733

NÂNG CAO HIỆU QUẢ ĐIỀU KHIỂN ROBOT, SỬ DỤNG HỌC TĂNG CƯỜNG KẾT HỢP HỌC SÂU

Thông tin bài báo

Ngày nhận bài: 13/04/23 Ngày hoàn thiện: 24/05/23 Ngày đăng: 24/05/23

Các tác giả

1. Lương Thị Thảo Hiếu , Trường Đại học Kinh tế Kỹ thuật Công nghiệp
2. Phạm Thị Thùy, Trường Đại học Kinh tế Kỹ thuật Công nghiệp
3. Nguyễn Khắc Hiệp, Trường Đại học Kinh tế Kỹ thuật Công nghiệp

Tóm tắt

Mặc dù học sâu có thể giải quyết các bài toán mà các thuật toán học máy cũ không giải quyết được nhưng cần lượng dữ liệu rất lớn và trong thực tế dữ liệu không phải lúc nào cũng có sẵn trong bài toán điều khiển. Học tăng cường là một giải pháp tốt trong bài toán điều khiển robot. Trong học tăng cường, dữ liệu được tạo ra khi tác tử tương tác với môi trường. Cùng với sự ra đời của mạng noron, nhiều nghiên cứu đã tập trung kết hợp mạng noron vào học tăng cường tạo nên học tăng cường sâu. Trong bài báo này chúng tôi đề xuất mô hình học tăng cường sâu mới dựa trên sự cải tiến thuật giải Deep Q Learning truyền thống bằng cách kết hợp các kỹ thuật: Fixed_Q Target, Double Deep Q, Prioritized Experience Replay, với mô hình mạng VGG16, ứng dụng điều khiển robot xếp hàng hóa với không gian trạng thái tự thiết kế sử dụng Unity ML-Agents. Mô hình đề xuất được thực nghiệm, so sánh đánh giá hiệu quả so với mô hình ban đầu. Kết quả cho thấy phương pháp đề xuất hội tụ nhanh và khắc phục được hiện tượng ước lượng quá mức giá trị Q.

Từ khóa

Học tăng cường; Học tăng cường sâu; Điều khiển robot; DQN; VGG16

Toàn văn:

PDF

Tài liệu tham khảo

[1] J. Kober, J. A. Bagnell, and J. Peters, “Reinforcement Learning in Robotics: A Survey,” International Journal of Robotics Research, vol. 32, no. 11, pp. 1238-1274, 2013.

[2] R. Liu, F. Nageotte, and P. Zanne, “Deep reinforcement learning for control of robotic manipulation: A review,” Journal of Robotics, vol. 10, no. 1, pp. 1-14, 2020.

[3] A. Barzegar and D.-J. Lee, “Deep Reinforcement Learning-Based Adaptive Controller for Trajectory Tracking and Altitude Control of an Aerial Robot,” Applied Sciences, vol. 9, pp. 1-8, 2022.

[4] V. Minh, K. Kavukcuoglu, D. Silver, and A. Graves, “Playing Atari with Deep Reinforcement Learning,” Noron Information Proccessing Systems, vol. 26, pp. 2674-2682, 2013.

[5] V. Mnih, K. Kavukcuoglu, D. Silver, and A. Graves, “Human level Control through Deep Reinforcement Learning,” Nature, vol. 518, pp. 529-533, 2015.

[6] H. V. Hasselt, A. Guez, and D. Silver, “Deep Reinforcement Learning with Double Q-Learning,” in AAAI Conference on Artifical Intelligence (AAAI), 2016, pp. 2094-2100.

[7] C. A. W. Y. Wang, “A Deep Reinforcement Learning Method for Robot Dynamic Path Planning,” IEEE Access, vol. 8, pp. 33817-33826, 2020.

[8] Ó. Pérez-Gil, R. Barea, E. López-Guillén, L. M. Bergasa, C. Gómez-Huélamo, R. Gutiérrez, and A. Díaz-Díaz, “Deep reinforcement learning based control for Autonomous Vehicles in CARLA,” Multimed Tools Appl, vol. 81, no. 3, pp. 3553–3576, 2022

[9] T. Schaul, “Prioritzed Experience Replay,” in ICLR, 2016, pp.1-8.

[10] K. Simonyan and A. Zisserman, “Very deep convolutional network for large-scale image recognition,” in The 3rd International Conference on Learning Representations(ICLR2015), 2015, pp. 1-14.

DOI: https://doi.org/10.34238/tnu-jst.7733

Các bài báo tham chiếu

Hiện tại không có bài báo tham chiếu



Ghi nhớ