SỬ DỤNG MÔ HÌNH LSTM NHIỀU TẦNG VÀO  BÀI TOÁN TÌM KIẾM CÂU HỎI

Lương Thị Minh Huế

doi:10.34238/tnu-jst.5799

SỬ DỤNG MÔ HÌNH LSTM NHIỀU TẦNG VÀO BÀI TOÁN TÌM KIẾM CÂU HỎI

Thông tin bài báo

Ngày nhận bài: 01/04/22 Ngày hoàn thiện: 26/05/22 Ngày đăng: 27/05/22

Các tác giả

Lương Thị Minh Huế , Trường Đại học Công nghệ Thông tin và Truyền thông – ĐH Thái Nguyên

Tóm tắt

Tìm câu hỏi tương đồng là một trong những bài toán quan trọng trong hệ thống hỏi đáp. Thách thức lớn nhất của bài toán này là thách thức về khoảng cách từ vựng giữa các từ trong câu hỏi thứ nhất và câu hỏi thứ hai. Mặc dù có nhiều nghiên cứu đề xuất các mô hình, tuy nhiên việc khai thác mô hình LSTM nhiều lớp chưa được thử nghiệm trên bài toán này. Trong bài báo này, chúng tôi khai thác mô hình LSTM nhiều tầng áp dụng vào bài toán tìm câu hỏi tương đồng với mục đích khai thác ngữ nghĩa ẩn của câu. Mô hình LSTM nhiều tầng có khả năng tổng hợp ngữ nghĩa qua nhiều lớp. Nó khai thác ngữ nghĩa ẩn qua nhiều tầng, từ đó giúp cho mô hình hiểu được ngữ nghĩa của câu. Kết quả chỉ ra rằng mô hình 3 tầng cho kết quả tốt nhất so với mô hình gốc LSTM và các mô hình nhiều tầng khác trên tập dữ liệu semeval 2017 cho bài toán tìm câu hỏi tương đồng.

Từ khóa

LSTM; Học sâu; Xử lý ngôn ngữ tự nhiên; Hỏi đáp cộng đồng; Mô hình đa tầng

Toàn văn:

PDF

Tài liệu tham khảo

[1] G. Zhou, Y. Chen, D. Zeng, and J. Zhao, “Towards faster and better retrieval models for question search,” In Proceedings of the 22nd ACM International Conference on Information Knowledge Management, CIKM13, New York, NY, USA. Association for Computing Machinery, 2013, pp. 2139-2148.

[2] G. Zhou, T. He, J. Zhao, and P. Hu, “Learning continuous word embedding with metadata for question retrieval in community question answering,” CIKM13, vol. 01, pp. 250-259, 2015.

[3] L. Cai, G. Zhou, K. Liu, and J. Zhao, “Learning the latent topics for question retrieval in community QA,” In Proceedings of 5th International Joint Conference on Natural Language Processing, Chiang Mai, Thailand, November. Asian Federation of Natural Language Processing, 2011, pp. 273-281.

[4] W. Wu, X. Sun, and H. Wang, “Question condensing networks for answer selection in community question answering,” In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Melbourne, Australia, July. Association for Computational Linguistics, 2018, pp. 1746-1755.

[5] Y. Tay, A. T. Luu, and S. C. Hui, “Enabling efficient question answer retrieval via hyperbolic neural networks,” CoRR, pp. 265-274, 2017, doi: abs/1707.07847.

[6] S. Robertson, S. Walker, S. Jones, M. M. HancockBeaulieu, and M. Gatford, “Okapi at trec 3,” In Overview of the Third Text REtrieval Conference (TREC-3), January, 1995.

[7] X. Cao, G. Cong, B. Cui, C. S. Jensen, and C. Zhang, “The use of categorization information in language models for question retrieval,” In Proceedings of the 18th ACM Conference on Information and Knowledge Management, CIKM ’09, New York, NY, USA. Association for Computing Machinery, 2019, pp. 265-274.

[8] D. M. Blei, A. Y. Ng, and M. I. Jordan, “Latent dirichlet allocation,” In T. G. Dietterich, S. Becker, and Z. Ghahramani, editors, Advances in Neural Information Processing Systems 14, pp. 601-608. MIT Press, 2002.

[9] P. Nakov, D. Hoogeveen, L. Màrquez, A. Moschitti, H. Mubarak, T. Baldwin, and K. Verspoor, “SemEval-2017 task 3: Community question answering,” In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), Vancouver, Canada, August. Association for Computational Linguistics, 2017, pp. 27-48.

[10] S. Filice, G. Da San Martino, and A. Moschitti, “KeLP at SemEval-2017 task 3: Learning pairwise patterns in community question answering,” In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), Vancouver, Canada, August. Association for Computational Linguistics, 2017, pp. 326-333.

[11] M. Tan, B. Xiang, and B. Zhou, “LSTM-based Deep Learning Models for non-factoid answer selection,” 2015. [Online]. Available: https://arxiv.org/abs/1511.04108. [Accessed May 2021].

[12] D. Britz, A. Goldie, M.-T. Luong, and Q. Le, “Massive Exploration of Neural Machine Translation Architectures,” In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, Copenhagen, Denmark. Association for Computational Linguistics, 2017, pp. 1442-1451.

DOI: https://doi.org/10.34238/tnu-jst.5799

Các bài báo tham chiếu

Hiện tại không có bài báo tham chiếu



Ghi nhớ