Tìm kiếm ảnh theo nội dung và ngữ nghĩa

Abstract

Content-based image search has been concerned recently. This search method helps to overcome shortcomings of current meta-data-based search method, which is sensitive to the meta-data enclosed with images. In this paper, a content-based image search system is developed based on the convolutional neural network deep learning model. In addition, the search system is also combined with semenatic search technique that enables the improvement of the search result. The semance searching capacity bases  on a domain-ontology that describes semantic relationships among image topics. The experimental result shows that the accuracy of the convolutional neural network classification model on the test set is 85.75%. Moreover, the semantic search is helpful to widen and improve the search result significantly, particularly in the case that the searching keywords is ambigous or unclear.

Tóm tắt

Trong những năm gần đây, các nghiên cứu về tìm kiếm ảnh theo nội dung đang được quan tâm vì phương pháp tìm kiếm này có thể khắc phục nhược điểm của phương pháp tìm kiếm dựa trên meta data là không bị ảnh hưởng bởi sự thiếu hoặc sai của meta data kèm theo ảnh. Trong nghiên cứu này, chúng tôi sẽ xây dựng một hệ thống tìm kiếm ảnh theo nội dung dựa trên việc phân loại tập ảnh theo nội dung bằng mô hình mạng neural tích chập (CNNs) của kỹ thuật học sâu (deep learning). Đồng thời, chúng tôi sẽ kết hợp ngữ nghĩa vào quá trình tìm kiếm để cho phép mở rộng thêm kết quả tìm kiếm ảnh theo những khái niệm ngữ nghĩa mà con người đã chấp nhận, so với ý nghĩa của những thông tin có được từ những đặc trưng của ảnh. Việc kết hợp ngữ nghĩa vào quá trình tìm kiếm sẽ dựa trên một domain ontology do chúng tôi xây dựng để mô tả các mối quan hệ ngữ nghĩa giữa các chủ đề ảnh. Kết quả thực nghiệm cho thấy mô hình CNNs phân lớp tập ảnh kiểm thử đạt độ chính xác là 85,75% và việc kết hợp ngữ nghĩa cho phép mở rộng và đa dạng hóa kết quả tìm kiếm, đặc biệt hữu ích trong các trường hợp từ khóa tìm kiếm có nhiều từ đồng nghĩa hoặc nhập nhằng.