基于双模编码器-解码器框架的联机手写数学公式识别
为了充分利用联机手写数学公式的笔迹特征和全局二维结构特征,将联机模式和脱机模式联合,设计了一种基于编码器-解码器框架的双模识别模型.该模型可接受一维坐标点序列和二维静态图像形式的手写数学公式数据,通过联机编码器从输入的坐标点序列中提取笔迹特征信息,并通过脱机编码器从静态图像中提取二维结构特征信息,进而充分保留手写笔迹特征和全局二维结构特征.在编码器阶段,针对联机模式提出正弦编码,对输入的坐标点序列进行编码,补充笔画级别的信息,能够有效避免笔画间隔模糊导致的笔画信息丢失的问题;针对脱机模式提出平滑注意力机制,通过引入平滑窗口的方式,实现特征图中每个像素特征的感受野的自适应调整,在一定程度上解决了普通的注意力机制无法同时对尺寸相差较大的手写符号筛选有效特征信息的问题,有效提升了注意力机制捕捉有效手写区域的能力.实验结果表明,该模型的公式识别准确率可达58.76％,并且与相同领域内其他的识别模型相比,其可将公式识别准确率提升1.56％ ～4.71％,达到较高水平.
编码器-解码器、联机、脱机、双模、数学公式识别、注意力机制
50
TP391(计算技术、计算机技术)
国家自然科学基金;北京市教育委员会优质本科教材建设项目
2024-01-24（万方平台首次上网日期，不代表论文的发表时间）
共11页
50-60
