Các phương pháp đánh giá hệ thống gợi ý

Trần Nguyễn Minh Thư * và Phạm Xuân Hiền

* Tác giả liên hệ (tnmthu@ctu.edu.vn)

Article Sidebar

Full Text: PDF

Ngày nhận bài: 20-04-2021
Ngày duyệt đăng: 25-02-2016
Ngày xuất bản: 06-06-2016
Title: Evaluation methods for  recommender systems  
DOI: 10.22144/ctu.jvn.2016.023
Lượt xem
238
Downloads
163
Crossref
Scopus
Google Scholar
Europe PMC
Trích dẫn
Thư, T. N. M., & Hiền, P. X. (2016). Các phương pháp đánh giá hệ thống gợi ý. Tạp chí Khoa học Đại học cần Thơ, (42), 18-27. https://doi.org/10.22144/ctu.jvn.2016.023
Số báo
Số. 42 (2016)
Chuyên mục
Công nghệ thông tin

Abstract

Recommender system is a decisive support tool to provide users the most useful choice in the era of “information explosion”. When a recommender system is built, the effectiveness of the system is usually more concerned. However, evaluating the effectiveness of the recommender system depends a lot on the purpose of building the systems, kind of data, and conditions to evaluate the system. These conditions can be online or based on available data (offline). In this article, we will focus on analyzing and introducing the evaluation methods based on a system of qualitative criteria (diversity, novelty, covers) as well as quantitative criteria (precision, recall, F1, MSE, RMSE). The process to evaluate a recommender system for each kind of database is also mentioned in this article.
Keywords: Recommender system, protocol, measure, off-line evalution, on-line evalution

Tóm tắt

Hệ thống gợi ý là một công cụ hỗ trợ quyết định nhằm cung cấp cho người dùng những lựa chọn hữu ích nhất trong thời đại bùng nổ thông tin. Khi xây dựng một hệ thống gợi ý, người ta thường quan tâm đến tính hiệu quả của nó. Tuy nhiên, việc đánh giá tính hiệu quả của một hệ thống gợi ý còn tuỳ thuộc rất nhiều vào mục đích xây dựng hệ thống, loại dữ liệu và điều kiện để đánh giá hệ thống. Điều kiện đánh giá hệ thống có thể là trực tuyến (online) hay dựa vào dữ liệu có sẵn (offline). Trong bài báo này, chúng tôi sẽ tập trung phân tích và giới thiệu các phương pháp đánh giá một hệ thống gợi ý theo tiêu chí định tính (tính đa dạng, tính mới, tính bao phủ) cũng như định lượng (precision, recall, F1, MSE, RMSE). Đồng thời, các nghi thức đánh giá phù hợp đối với từng loại cơ sở dữ liệu cũng được đề cập trong bài báo này.
Từ khóa: Hệ thống gợi ý, phương thức, đánh giá, đánh giá offline, đánh giá on-line

Article Details

Tài liệu tham khảo

Adomavicius, G. and A. Tuzhilin, 2005. Toward the next generation of recommender systems: a survey of the state-of-the-art and possible extensions. IEEE Transactions on Knowledge And Data Engineering.

Adomavicius, G. And Y. Kwon, 2008. Overcoming accuracy-diversity tradeoff in recommender systems: a variance-based approach. In Proceedings of the 18th Workshop on Information Technology and Systems, WITS 2008, Paris, France.

Adomavicius, G. and Y. Kwon, 2010. Improving recommendation diversity using ranking-based techniques. IEEE Transactions on Knowledge and Data Engineering.

Bradley, 2001. Improving recommendation diversity. In Proceedings of the 12th National Conference in Artificial Intelligence and Cognitive Science. D. O’donoghue, Ed., Maynooth, Ireland, pp. 75–84.

Breese, J.S. and D. Heckerman, 1998. Empirical analysis of predictive algorithms for collaborative filtering. Morgan Kaufmann, pp. 43–52.

Cosley D., et al, 2003. Is seeing believing?: how recommender system interfaces affect users' opinions. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI '03). ACM, New York, NY, USA, 585-592. DOI=10.1145/642611.642713 http://doi.acm.org/10.1145/642611.642713

Dias et al, 2008. The value of personalised recommender systems to e-business : a case study. Recsys ’08. New York, NY, USA : ACM, pp. 291–294.

Fouss, F. and , 2008. Evaluating performance of recommender systems: an experimental comparison. Web intelligence. IEEE, pp. 735–738.

Herlocker J. L., et al, 2000. Explaining collaborative filtering recommendations. In Proceedings of the 2000 Conference on Computer Supported Cooperative Work, 241–250.

Herlocker J.L et al, 2004. Evaluating collaborative filtering recommender systems. ACM Trans. Inf. Syst., vol. 22, no. 1, pp. 5–53.

Hsu, C. and H. Chung, 2004. Mining skewed and sparse transaction data for personalized shopping recommendation. Mach. Learn., vol. 57, no. 1-2, pp. 35–59.

Karypis.g, 2001. Evaluation of item-based top-n recommendation algorithms. Cikm ’01: proceedings of the tenth international conference on information and knowledge management. New york, ny, usa : acm, pp. 247–254.

Koren.Y, 2009. The Bellkor solution to the netflix grand prize. Http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1. 162.2118.

Kozma, L and T. Raiko, 2009. Binary principal component analysis in the netflix collaborative filtering task. In Proceedings of the IEEE Workshop on Machine Learning for Signal Processing.

Mortensen M., 2007. Design and evaluation of a recommender system. Http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.103.2726

Park, Y. and A. Tuzhilin, 2008. The long tail of recommender systems and how to leverage it. Recsys. ACM, pp. 11–18.

Sarwar B., et al, 2001. Item-based collaborative filtering recommendation algorithms. Proc. 10th international conference on the world wide web, pp. 285–295.

Sarwar, B and G. Karypis, 2000. Analysis of recommendation algorithms for ecommerce. EC ’00. USA : ACM, pp. 158–167.

Schafer J.B., et al, 2007. Collaborative filtering recommender systems. The Adaptive Web, Ser. Lecture Notes in Computer Science, P. Brusilovsky, A. Kobsa, and W. Nejdl, eds. Springer Berlin, heidelberg, vol. 4321, pp. 291–324.

Slaney.M, 2006. Measuring playlist diversity for recommendation systems. In Proceedings of the 1st ACM Workshop on Audio and Music Computing Multimedia, Ser. AMCMM ’06. New York, Ny, USA: ACM, pp. 77–82.

Takács G., et al, 2007. On the gravity recommendation system. Proc. Of the KDD CUP and Workshop 2007 (KDD 2007), pp. 22–30.

Trần Nguyễn Minh Thư, 2011. Abstraction et règles d’association pour l’amélioration des systèmes de recommendation à partir de données de préférences binaires. Phd thesis.

Yeong, et al, 2005. Mining changes in customer buying behavior for collaborative recommendations. Expert Syst. Appl. 28, 2 (February 2005), 359-369. DOI=10.1016/j.eswa.2004.10.015 http://dx.doi.org/10.1016/j.eswa.2004.10.015.

Yu, C and L. Lakshmanan, 2009. It takes variety to make a world: diversification in recommender systems. In EDBT '09 Proceedings of the 12th International Conference on Extending Database Technology: Advances in Database Technology.

Ziegler C., et al, 2005. Improving recommendation lists through topic diversification. Proceedings of the 14th International Conference on World wide web, ser. WWW ’05. New York, NY, USA : ACM, pp. 22–32.