适用于自然交互环境的人手动作识别研究
自然、便捷和高效是人机交互技术的发展趋势，而基于人手动作识别的自然交互能够克服其他方法需要辅助设备的约束，使操作者能够以最自然的方式与计算机交互，因而成为人机交互中的关键技术和研究热点。本文从人手图像分割、人手动作识别算法和基于人手动作识别的康复训练应用等方面开展了基于Kinect传感器的人手动作识别方法的研究。 本文首先阐述基于视觉信息获取的人手动作识别交互系统的基本原理，分析了基于视觉的人手动作识别系统中人手图像分割、人手动作跟踪和人手动作识别算法三个关键环节的现有方法，并对比总结了这些方法的优缺点。在分析人手动作识别系统现有方法的基础上，为了进一步提高分割的精确性，论文提出了一种基于深度图像和肤色的人手图像分割方法。该方法首先使用深度阈值分割出深度图像中人手对应的像素集合，通过映射获得彩色图像中人手对应的区域，然后使用人手肤色阈值获得人手图像，并在此基础上实现了基于指尖检测的静态手势识别系统。为了提高人手动作识别的实时性和识别正确率，本文使用Kinect传感器实时获取操作者上肢骨骼关节点数据，并以操作者手掌、手腕和肘关节的位置信息为特征定义人手动作模块，提出了基于约束预处理的动态时间规整人手动作识别方法。为了验证上述方法的有效性和可靠性，我们开展了10个实验对象参与的静态手势识别实验和人手动作识别实验。实验结果表明，5个静态手势的平均识别率约为88％，4个典型人手动作的平均识别率约为92.5%。在人手动作识别方法研究基础上，本文开展了基于人手动作识的康复训练实验研究，包括左右手灵活度对比实验、康复程度评估实验。实验结果证明，本文所设计的人手动作识别系统能成功应用于康复训练并取得较好的效果。本文从多个方面开展了适用于自然交互环境的人手动作识别方法研究，为基于手势识别的自然人机交互技术的发展及其在康复训练等中的应用奠定了重要的基础。
人机交互;手势检测;图像识别;图像处理
南京航空航天大学
硕士
测试计量技术及仪器
陆熊
2015
中文
TP391.41;TP317.4
75
2015-12-29（万方平台首次上网日期，不代表论文的发表时间）