Truong Phong Tuyen * and Luong Vinh Quoc Danh

* Corresponding author (tptuyen@ctu.edu.vn)

Abstract

In recent years, embedded system is an outstanding option to carry out almost all of natural interactive control applications. Besides, it is a contemporary trend towards utilizing natural user interfaces such as head or hand gesture interaction, etc. Existing software solutions; however, still show weak points in processing speed, especially in real-time applications. Therefore, this research proposed a hardware solution by implementing an embedded system on FPGA. This embedded system was built on Altera’s DE2-115 board with input from a 5-Mega pixel camera, which was able to recognize and track hand movement to handle a computer game simultaneously. Preliminary results encourage further research on FPGA-based embedded systems for smart interaction applications.
Keywords: Altera DE2-115, embedded systems, FPGA, hand-tracking, image processing

Tóm tắt

Trong những năm gần đây, các ứng dụng sử dụng phương pháp điều khiển giao diện tự nhiên như thông qua cử động của đầu, tay... đang là một xu thế. Tuy nhiên, các giải pháp phần mềm cho việc điều khiển trên hiện tại vẫn còn hạn chế về tốc độ xử lý, đặc biệt là trong các ứng dụng thời gian thực. Từ đó, trên cơ sở thực hiện hệ thống nhúng trên nền FPGA, nghiên cứu này đề xuất một giải pháp phần cứng cho vấn đề đã nêu. Hệ thống được thực hiện sử dụng board Altera DE2-115 và một camera có độ phân giải 5 Mega pixel cho phép phát hiện và bám theo sự di chuyển của bàn tay người để điều khiển một trò chơi một cách tức thời. Kết quả của nghiên cứu là cơ sở cho việc tiếp tục nghiên cứu, phát triển các ứng dụng nhúng tương tác thông minh trên nền FPGA.
Từ khóa: Altera DE2-115, FPGA, hệ thống nhúng, theo dõi bàn tay, xử lý Ảnh

Article Details

References

Ahmad Athif Mohd Faudzi, Muaammar Hadi Kuzman Ali, M. Asyraf Azman, Zool Hilmi Ismail. Real-time Hand Gestures System for Mobile Robots Control. ScienDirect, Procedia Engineering 41, 2012, pp. 798-804.

Altera Corporation, 2007. Quartus II Handbook Volume 4: SOPC Bulder. URL: www.cs.columbia.edu/~sedwards/classes/2008/4840/qts_qii5v4.pdf, ngày truy cập 15/09/2014.

Altera Corporation, 2010. Media Computer System for the Altera DE2-115 Board. URL: ftp://ftp.altera.com/up/pub/Altera.../DE2-115_Media_Computer.pdf, ngày truy cập 15/09/2014.

Altera Corporation, 2010. Video IP Cores for Altera DE Series Boards. URL: ftp://ftp.altera.com/up/pub/Altera_Material/9.1/University_Program_IP_Cores/Audio_Video/Video.pdf , ngày truy cập 15/09/2014.

Altera Corporation, 2011. Nios II Processor Reference Handbook. URL: www.altera.com/literature/hb/nios2/n2cpu_nii5v1.pdf, ngày truy cập 15/09/2014.

Altera Corporation, 2011. Nios II Software Developer’s Handbook. 2011. URL: www.altera.com/literature/hb/nios2/n2sw_nii5v2.pdf, ngày truy cập 15/09/2014.

Altera Corporation, 2013. University Program. Computer Organization - IP Cores. URL: http://www.altera.com/education/univ/materials/comp_org/ip-cores/unv-ip-cores.html, ngày truy cập 15/09/2014.

Amit Gupta, Vijay Kumar Sehrawat, Mamta Khosla. FPGA Based Real Time Human Gesture Recognition System. Procedia Technology 6, 2012, pp. 98-107.

Chao-Tang Li, Wen-Hui Chen. A Novel FPGA-based Hand Gesture Recognition System. Journal of Convergence Information technology (JCIT), Volume 7, Number 9, May 2012, pp. 22-229.

Guangdong Liu, Zhongke Shi, 2011. Embedded implementation of real-time skin detection system. 2011 International Conference on Transportation, Mechanical, and Electrical Engineering (TMEE), December 16-18. Changchun, China, pp. 2463-2466.

Hanting Lu, Kedari Elety, 2013. Hand Tracking Pong. URL: http://people.ece.cornell.edu/land/courses/ece5760/FinalProjects/s2013/hl855_kre27/hl855_kre27/index.html, ngày truy cập 15/09/2014.

Lâm Thị Ngọc Châu, 2003. Kỹ thuật đồ họa. Khoa CNTT&TT. Đại học Cần Thơ. 159 trang.

Rumaisa Iftikhar, Samiya, Hira Abbasi, Tahir Quadri, Sabia Abbasi and Naeem Abbas. Controlling of Mouse Cursor using Video Processing in FPGA. International Journal of Current Engineering and Technology. Vol. 4, No. 2, April 2014, pp. 612-615.

Stefen Oniga, Janos Vegh, Ioan Orha, 2012. Intelligent Human-Machine Interface Using Hand Gestures Recognition. Automation Quality and Testing Robotics (AQTR), 2012 IEEE International Conference on 24-27 May 2012. Cluj-Napoca, Rumania, pp. 559-563.

Terasic Technologies Inc, 2009. TRDB-D5M Hardware Specification. URL: https://courses.cs.washington.edu/courses/cse467/08au/labs/Resources/THDB-D5M_Hardware%20specification.pdf, ngày truy cập 15/09/2014.

Terasic Technologies Inc, 2013. DE2-115 User Manual. URL: http://www.terasic.com.tw/cgi-bin/page/archive_download.pl?Language=English&No=502&FID=cd9c7c1feaa2467c58c9aa4cc02131af, ngày truy cập 15/09/2014.

Terasic Technologies Inc, 2013. TRDB_D5M User Guide. URL: https://www.terasic.com.tw/attachment/archive/281/TRDB_D5M_UserGuide.pdf, ngày truy cập 15/09/2014.