基于时空双流卷积神经网络的红外行为识别
针对红外视频人体行为识别问题,提出了一种基于时空双流卷积神经网络的红外人体行为识别方法.通过将整个红外视频进行平均分段,然后将每一段视频中随机抽取的红外图像和对应的光流图像输入空间卷积神经网络,空间卷积神经网络通过融合光流信息可以有效地学习到红外图像中真正发生运动的空间信息,再将每一小段的识别结果进行融合得到空间网络结果.同时将每一段视频中随机抽取的光流图像序列输入时间卷积神经网络,融合每一小段的结果后得到时间网络结果.最后再将空间网络结果和时间网络结果进行加权求和,从而得到最终的视频分类结果.实验中,采用此方法对包含23种红外行为动作类别的红外视频数据集上的动作进行识别,正确识别率为92.0％.结果表明,该算法可以有效地对红外视频行为进行准确识别.
人体行为识别、卷积神经网络、信息融合、红外视频、视频分段
39
TN219(光电子技术、激光技术)
上海市科委基础研究项目15JC1400600;国家青年自然科学基金61603089;上海市青年科技英才扬帆计划16YF1400100
2018-11-09（万方平台首次上网日期，不代表论文的发表时间）
共8页
743-750
