融合视觉和触觉的多模态针刺手法识别方法研究
针刺手法是一种传统的中医治疗方法。目前的针刺手法传承教学主要以口传心授的方式进行，缺乏统一的针刺手法量化与手法识别建模方法。由于针刺手法具有行针时手部运动规律复杂、动作幅度小，且手指间相对运动信息难以精准表征等特点，目前还缺乏从多模态角度构建针刺手法识别方法。传统的针刺手法参数仪，虽然可以量化手指触觉特征，但是便携性差，且无法从整体视觉角度量化针刺手部的运动规律。同时，基于三维运动追踪的方法不仅需要同时架设多台摄像头进行手势追踪，而且仅能从视觉角度获得手指的相对位置空间信息，无法得到行针过程中手指间的压力、相对运动等触觉信息，以及整体手部的位置坐标等空间信息，难以构建兼顾视觉与触觉特征的针刺手法量化描述和手法识别方法。 针对上述问题，首先，基于本团队开发的一种阵列式双片PVDF柔性触觉指套传感器,本论文可以由传感器中的加速度计获得医师在行针过程中的手部空间位置信号，并由双片PVDF阵列获得持针手指所引起的触觉压电信号。紧接着，本论文给出了手部空间位置信号和触觉压电信号的预处理方法。特别地，针对针刺手法触觉压电信号的特征提取，本文给出了两种数据增强方法对采集到的电压数据进行数据增强。 随后，本文提出了一种针对采集到的双片PVDF薄膜触觉压电信号特征进行提取的方法。考虑到针刺手法的周期往复特性，本论文基于滑动窗思想将采集到的双片PVDF薄膜触觉压电信号划分为若干片段窗口，并将片段窗口组合成一个完整针刺手法周期所蕴含的操作窗口，从而得到一个完整的针刺手法周期的触觉压电信号特征。 紧接着，本文构建了一种融合视觉和触觉特征的多模态针刺手法深度学习识别模型。1、在该识别模型中，本论文基于注意力机制定义了一个“视觉特征提取注意力块”，用于整合针刺手法动作的视觉特征。该“视觉特征提取注意力块”可以显式建立网络通道之间的相互依赖性量化模型。随后，在整体的针刺手法识别深度学习网络中，本论文将“视觉特征提取注意力块”堆叠形成视觉特征提取网络。2、本论文设计了一种“随机块”以增强触觉特征的多样性，并强化整体手法识别模型的泛化能力。3、基于张量的多模态特征融合思想，本论文构建了针刺手法视觉与触觉特征融合机制，并完成整体针刺手法识别深度学习网络的构建。 最后，面向中医针刺中的4种典型补泻手法——捻转补、提插补、捻转泻和提插泻的识别问题，本论文邀请来自3家医院的二十位专家，对本文提出的融合视觉与触觉特征的手法识别模型进行验证，获得了满意的结果，验证了本文所提方法的可行性与有效性。
针刺手法;视觉特征;触觉特征;图像识别;特征提取;注意力机制
北京化工大学
硕士
电子信息
宿翀;周培建
2023
中文
R245.3;TP391.41
2023-09-27（万方平台首次上网日期，不代表论文的发表时间）