多传感器信息融合MOT算法研究与实现
多目标跟踪（MOT）在自动驾驶及高级辅助驾驶中,主要负责检测和跟踪汽车行驶过程中可能出现的障碍目标。目前主流的方法为基于可见光传感器的多目标跟踪，但是该方法在灯光照明不足和恶劣天气的情况下具有不稳定性，即有较大概率无法检测与跟踪障碍目标，然而热成像传感器采集的红外图像具有对照明、天气等因素不敏感的特点。因此将热成像传感器与可见光传感器进行信息融合，使得融合图像中包含红外图像的温度信息与可见光图像的纹理信息和色彩信息，可以显著提升多目标跟踪时的鲁棒性。 本文信息融合的实现方式是利用热成像与可见光传感器采集的红外与可见光图像进行像素级融合跟踪。本文首先对像素级融合跟踪进行了分析，然后提出了像素级融合跟踪的关键点，并且针对这些关键点进行了优化。论文主要贡献如下： （1）像素级融合跟踪算法对图像配准要求严格。本文提出了多尺度模板匹配图像配准算法，将可见光图像分解为多尺度图像，然后将红外图像与多尺度图像进行模板匹配，以此提升配准精度。算法在结构相似性、峰值信噪比等配准指标上均高于其他配准算法。 （2）像素级融合跟踪算法对融合图像质量要求较高、算法运行速度需要提升。本文提出了快速图像融合方法，采用差分金字塔的方式进行多尺度细节提升，解决融合图像质量精度问题。根据视觉显著性理论，利用均值滤波及中值滤波计算融合系数矩阵以降低算法复杂度。本文在图像质量指标上均明显优于其他基于变换域的融合算法。 （3）像素级融合跟踪需要保证跟踪准确性与运行速度平衡。本文将扩展卡尔曼滤波模型作为帧间数据关联的重要依据，从而增加了跟踪算法的准确性；然后利用交并比作为数据关联手段降以低算法复杂性。该方法与其他MOT算法相比，MOTA指标提升了17.42%，MOTP指标降低了0.8%。在对比可见光图像与融合图像多目标跟踪性能时，夜晚融合图像跟踪性能提升20%左右。 为了验证本文多传感器信息融合MOT算法在自动驾驶环境中的可行性，本文搭建了基于Django框架的融合多目标跟踪系统，将本文算法在融合系统中做了物理验证。验证结果表明在夜晚及恶劣天气的情况下，本文算法能够实现障碍目标的检测与跟踪。
多目标跟踪;像素级融合跟踪;可见光传感器;峰值信噪比;自动驾驶
北京化工大学
硕士
计算机技术
韩可都;李为公
2022
中文
TP391.41
2022-11-04（万方平台首次上网日期，不代表论文的发表时间）