10.3969/j.issn.1000-386x.2022.01.026
基于混合深度学习的多模态场景指令分类方法
为提高家庭服务机器人指令中目标对象预测的准确率,提出一种基于混合深度学习的多模态自然语言理处理(Natural Language Processing,NLP)指令分类方法.该方法从语言特征、视觉特征和关系特征多模态入手,采用两种深度学习方法分别以多模态特征进行编码.对于语言指令,采用多层双向长短期记忆(Bi-LSTM)进行子词嵌入和编码;对于非语言场景,使用卷积神经网络进行编码.最终得到每个目标-源对可能性的区域范围.实验结果表明,该方法能够提高机器人接收指令任务中目标对象预测的准确率且性能优于现有其他方法.
深度学习;自然语言处理;多模态;双向LSTM;生成式对抗网络
39
TP311(计算技术、计算机技术)
河南省科技攻关计划项目182102210533
2022-02-16(万方平台首次上网日期,不代表论文的发表时间)
共6页
176-180,187