基于视觉信息的手势识别算法与模型研究
基于视觉信息的手势识别是指基于手势的图像或视频信息，由计算机利用模式识别技术获取手势的类别或语义的方法。由于手势具有多样性、多义性、复杂变形性、时空差异性等特点，基于视觉的手势识别一直是计算机视觉领域非常活跃和富有挑战性的研究课题，同时也是新一代人机交互技术中的热点问题之一，受到了国内外研究人员的广泛关注。本文在分析与总结国内外相关研究的基础上，针对基于视觉信息的手势识别算法与模型进行了深入系统性的研究，主要研究内容和成果体现在以下几个方面: 研究了基于统计肤色模型的手势分割方法，对不同肤色在不同光照条件下在RGB、HSV、YCbCr色彩空间下的聚类效果进行对比分析，并在YCbCr色彩空间的基础上提出了针对特定成像设备在非线性转换后的YCb'Cr'空间上的椭圆肤色模型，排除了部分光照影响，并使检测更加准确快速。 研究了静态手势轮廓特征提取方法，提出了基于GVF snake模型与肤色模型融合的手势轮廓特征提取方法，算法利用椭圆肤色模型快速检测出手部区域轮廓作为GVF Snake模型搜索的初始轮廓曲线，为GVF Snake模型提供了较准确的初始轮廓曲线，改善了GVF snake模型的检测效果，并结合图像分块的思想在经肤色模型检测出的手势区域上进行运算，有效减少了计算量。 研究了动态手势检测方法，针对基于贝叶斯准则背景差分法的动态手势检测算法存在干扰区域多、计算时间较长的问题，提出了基于局部背景更新和肤色模型融合的运动手势检测方法，在提高了检测速度的同时仍能较好地检测出运动手势的前景区域。该方法对环境的适应性强，即使在复杂背景下仍能准确检测出运动手势。 研究了基于归一化傅里叶描述子与RBF神经网络的静态手势的识别方法。针对手臂区域的干扰问题，提出了依据手部几何形状特性的手臂区域去除算法，该算法通过构建肤色区域的最小外接矩形的方法搜索手腕位置，进而有效去除了手臂区域的干扰。此外，该方法在构建最小外接矩形时利用凸壳边界信息寻找最小外接矩形，与传统构建方法相比，计算量显著降低;研究了归一化傅里叶描述子表示手势轮廓特征的方法，提出通过分析手势轮廓的傅里叶描述子能量分布情况选择描述子数目的方法;研究了以归一化傅罩叶描述为特征通过RBF神经网络的静念手势识别方法，获得了较理想的识别效果。 针对手势跟踪这一手势识别中的难点和重点问题，将具有计算量小、实时性好、无偏和最优等特点的Kalman滤波器与本文肤色模型相结合，实现了快速的运动手部目标的跟踪。在kalman滤波器的参数设计方面，选择了由肤色模型检测出的手部运动区域的质心位置、最小面积外接矩形宽和高等几何特征作为运动目标的基本运动参数，并提出了手势运动目标的空间结构特征和基于Bhattacharyya系数的肤色概率特征相结合的匹配算法，保证了目标匹配的准确性。实验表明本文方法提高了手势跟踪算法的效率和鲁棒性，并能较好地处理手势在运动过程中出现的手形变化、轨迹变化等情况。 在动态手势识别中，针对肤色模型可能出现的误检情况，提出了基于运动信息和标签法的非手势肤色区域干扰去除方法;针对手势轨迹分割的不确定性问题，提出了基于预设检测区域动态手势起止位置的分割方法，并采用三次样条插值算法对手势的运动轨迹插值得到手势的光滑运动曲线;针对手势运动轨迹的时空差异性问题，提出了利用位置归一化和相邻轨迹点之间角度来表示运动轨迹特征的方法;提出了通过相邻轨迹点之间的距离计算手势序列的关键帧方法，并通过计算关键帧手势轮廓的傅里叶描述子来识别关键帧手势类型;提出了采用轨迹点的归一化坐标、该轨迹点与前一轨迹点的角度、该轨迹点所处关键帧手势类型来构成手势序列的特征向量，通过HMM模型的识别动态手势，取得了较好的识别效果。
视觉信息;手势识别;特征提取;轮廓曲线;肤色模型;干扰去除方法
东北大学
博士
模式识别与智能系统
吴成东
2010
中文
TP391.41
141
2014-02-25（万方平台首次上网日期，不代表论文的发表时间）