NHẬN DẠNG NGÔN NGỮ DấU HIỆU VớI CAMERA KINECT VÀ ĐẶC TRƯNG GIST

Abstract

We present, in this paper, a novel method for sign language recognition. From data acquired with Kinect camera, features of hand movement are extracted. We also propose a new feature to describe hand movement. The feature is computed by dividing the orbit of hand movement into k segments. For each segment, we compute the orientation histogram. The feature is hence independent to length of orbit. Moreover, to improve the discrimant power we also extract the visual information of hand shape with GIST feature. These features are then used to train a recognition model with support vector machines. The experimentations are realized with 280 samples collected from 5 students in Can Tho Disabled Children School. The numerical results show that the proposed method gives an 90% in term of accuracy.

Tóm tắt

Trong bài báo này, chúng tôi đề xuất một phương pháp mới cho việc nhận dạng ngôn ngữ dấu hiệu. Với dữ liệu được thu nhận từ camera Kinect, chúng tôi trích các đặc trưng chuyển động của bàn tay. Chúng tôi đề xuất một phương pháp biểu diễn quỹ đạo chuyển động của bàn tay bằng cách chia quỹ đạo thành k (e.g. k = 4) đoạn và sau đó tính tổ chức đồ (orientation histogram) của hướng di chuyển cho từng đoạn. Với phương pháp này, đặc trưng chuyển động không phụ thuộc vào độ dài của quỹ đạo. Ngoài ra, để tăng cường khả năng phân biệt, thông tin trực quan (visual) về hình dạng của bàn tay cũng trích xuất với đặt trưng GIST. Tất cả các đặc trưng trên được sử dụng để huấn luyện bộ nhận dạng được huấn luyện bằng mô hình máy học véc-tơ hỗ trợ. Chúng tôi đã thu thập dữ liệu từ 5 bạn học viên trường dạy trẻ khuyết tật thành phố Cần Thơ. Bộ dữ liệu gồm 14 từ, mỗi người thực hiện 4 lần. Tổng cộng là 280 phần tử. Thực nghiệm cho thấy kết quả nhận dạng đạt 90%.