应对遮挡问题的自动驾驶多目标跟踪方法仿真分析
多目标跟踪是指在视频或图像序列中同时跟踪多个运动目标的任务。随着各种传感器技术的不断进步，在自动驾驶领域对多目标跟踪的精度需求更为严苛。但目前遮挡问题给多目标跟踪带来了严峻挑战，主要因为现有的方法缺乏对来自多个维度和传感器源的信息的有效利用。 DeepSORT框架作为经典的多目标跟踪算法，最大特点就是加入表观特征，通过提取特征，匹配特征，更新特征，从而优化遮挡问题。DeepSORT框架的优化方式一个就是优化特征提取的精度，使之在匹配准确度更加精确；另外一个就是关联跟踪目标的前后帧表观特征，根据目标的空间坐标与帧间关系判断其运动意图。基于此方向，本文研究了一种基于Transformer特征融合的DeepSORT多目标跟踪框架，通过将两种模态数据映射为另一种专为融合而设计的高维表示，使多目标跟踪等下游任务可以有效地利用原始数据。具体研究内容如下： 在数据预处理阶段，结合摄像头和激光雷达两种传感器的空间特点，分别通过卷积神经网络和PointPillars网络提取检测目标的特征向量，并通过截锥关联的方式将两种特征向量进行位置对齐，使两种特征在位置编码后，都可以找到对应的融合坐标。依据各类传感器获取的特征搭建了基于Transformer的特征融合框架，结合时序特征和空间特征搭建不同的注意力模块，并提出IoU注意力机制，对时序特征进行局部采样，以减少整个模型的计算量。在融合过程的解码阶段，通过分类器与位置回归计算整个模型的损失函数，然后反向传播计算梯度，最后利用梯度下降更新参数，从而输出最优的融合特征。 将融合特征输入建立的基于DeepSORT的轨迹拟合优化算法框架中，通过算法判断该目标是否处于遮挡情况下，并把每帧的遮挡目标位置整合到相应轨迹中，以5帧为拟合数据输入多项式轨迹拟合算法，构成每小段轨迹。当遮挡目标完全消失后，通过拟合轨迹预测其位置，再通过自适应卡尔曼滤波进行更新，实现遮挡目标的数据连续性。最后依据多目标跟踪精度、识别F值和身份交换率作为多目标跟踪算法评测指标在MOT16数据集中与其他算法进行比对，并读取数据绘制表格。 在测试阶段搭建了Carla-Autoware的联合仿真平台，验证基于Transformer特征融合的DeepSORT多目标跟踪框架在仿真车辆中的表现，通过在激光点云地图的观察，在出现遮挡情况后，该框架依然可以很好地实现多目标跟踪。
自动驾驶;多目标跟踪;遮挡问题;特征融合;注意力机制
重庆交通大学
硕士
机械工程
李伟
2023
中文
U471.15
2023-09-14（万方平台首次上网日期，不代表论文的发表时间）