头眼双通道智能人机交互系统
如今，更加智能化、自然化的多通道人机交互技术（MHCI）正在成为人机交互技术发展的方向。视觉交互以其直观性等优势在MHCI中占据重要地位，而眼动追踪技术作为视觉交互的技术支撑，成为了近年来的热门研究方向之一。 眼动追踪技术发展到现在，仍然存在头动受限、精度与实时性难以兼得等问题，导致该技术实用性不佳。头部姿态作为MHCI中另一项关键技术，其指向性模糊的交互特点，使其应用场景受限。但通过头眼行为可以获取人们最直观的交互意图，如果能够将头动和眼动作为双通道输入，发挥两者各自优势，则可以大大提高人机交互的自然性，同时也给残疾人士的人机交互问题提供了一种很好的解决方案。因此本文基于眼动追踪技术和头部姿态检测技术，设计了一种头眼双通道智能人机交互系统。 在系统硬件架构上，本文采用头戴式装置来承载整个系统硬件电路，基于CMOS图像传感器和MEMS运动传感器，以现场可编程门阵列（FPGA）为核心来增加系统设计的灵活性，同时利用其并行处理的优势对算法进行加速，从而提升系统的实时性。 在系统算法设计上，针对近眼相机下人眼图像的特点，提出了一种由粗及精的眼动追踪算法，通过感兴趣区域获取瞳孔区域图像，运用阈值分割、形态学处理及质心法来逐步定位瞳孔中心；同时针对运动传感器中陀螺仪和加速度计输出数据的特点，采用互补滤波算法，实现头部姿态的解算。 在FPGA内部，采用层次化思想划分功能模块，并使用Verilog进行逻辑描述，通过内外电路协同工作实现人眼图像的采集和眼动追踪算法的处理、头部姿态数据的采集和解算以及与上位机之间的数据传输。 系统测试结果表明，本系统瞳孔中心定位和头部姿态检测的平均准确率均达95%以上，可对人眼图像及头部姿态数据实时进行处理，同时通过结合上位机驱动软件，可实现头部与眼睛双通道协同进行人机交互。
智能人机交互系统;眼动追踪;姿态检测;现场可编程门阵列
哈尔滨理工大学
硕士
信号与信息处理
于天河
2022
中文
TP391.41
2022-09-21（万方平台首次上网日期，不代表论文的发表时间）