视频运动分割关键技术及其应用研究
运动分割是计算机视觉中的一个重要研究方向，同时也是自动驾驶、目标跟踪、行为理解等的核心和基础。由于实际拍摄的视频中，不仅存在光照等天气的变化，还存在相机运动、背景结构杂乱、多个运动目标和运动遮挡等，使得现实场景的运动分割问题极具挑战性。虽然近些年来国内外研究学者们提出了大量优秀的运动分割算法，然而当前的运动分割算法仍然难以应对实际中的种种挑战，而且往往需要一些额外的先验信息。 为了克服实际场景中的挑战，针对几何模型拟合在噪声和外点的鲁棒性、多模型参数的估计等方面的出色表现，本文以模型拟合技术为基础，研究适用于实际场景的运动分割方法。此外，本文将研究成果应用于视频显著性检测任务中，并构建了一个具有挑战性的交通场景视频显著性检测数据集。论文的主要研究内容和创新之处概括如下： （1）系统梳理了运动分割的基本概念和国内外研究现状，并根据国内外的大量研究总结出运动分割方法的四个分类，概述了每个类别运动分割方法的原理和优缺点，讨论了模型拟合应用于运动分割的有效性，指出了当前基于模型拟合的运动分割中存在的问题和难点。系统阐述了几何模型拟合的基本概念和一般流程，以子空间运动模型为例描述了模型的构建过程，详细介绍了各个类别的模型拟合方法的特点和代表性算法。 （2）针对有效模型假设比例低的问题，提出一种基于偏好分析与能量最小化的运动分割方法。模型假设集的质量对模型拟合算法有着重要的影响，确保一定比例的有效模型假设有利于减小模型拟合的偏差。基于偏好分析与能量最小化的运动分割方法通过引入数据点的空间信息，来提升有效模型假设的比例。并通过交替采样与拟合框架不断优化模型假设集的质量，使得能量函数快速的收敛到最优标签分配。实验结果表明基于偏好分析与能量最小化的运动分割方法在实际场景运动分割中是有效的，相比于其他的主流运动分割算法取得了更好的表现。 （3）针对有效模型假设比例低、模型个数难以自动确定的问题，提出一种排列空间中基于模型选择的运动分割方法。该方法对数据点施加空间距离上的双重约束，使得数据点在排列空间中聚集成簇，从而获得良好的数据点初始分割。该方法还包括一个模型选择策略，用来优化初始分割的结果，该策略通过迭代框架不断优化模型假设集的质量，能够快速的收敛到最优的标签分配并得到运动模型的数量。实验结果表明该方法即使在复杂的现实场景中也能有效的进行运动分割。 （4）针对有效模型假设比例低、模型个数难以自动确定、运动模型内点数量不平衡的问题，提出一种联合空间信息和运动信息的运动分割方法。实际获取的视频中往往各个运动目标的内点分布十分不平衡。针对这个问题，联合空间信息和运动信息的运动分割方法提出了一种相似度空间中的过分割策略，能够生成小运动目标对应的点簇。该方法还包括一种簇过滤策略，能够剔除掉大多数冗余簇。然后该方法将具有相似运动的剩余簇合并，准确的估计出运动模型及其数目。实验结果表明，该运动分割方法不仅适用于现实场景，并且具有较高的分割精度和鲁棒性。 （5）基于本章中提出的运动分割方法，设计一种新颖的视频显著性检测框架。当前的视频运动信息提取方法，容易受到光照变化、运动遮挡、相机运动等的干扰，而且只是在相邻两帧之间提取运动信息，因此提取的运动信息不具备帧间一致性。针对这个问题，本文利用提出的基于模型拟合的运动分割方法提取运动信息，能够获得具有帧间一致性、完整准确的运动信息，并以此为基础进行视频显著性检测。提出的视频显著性检测框架通过将原始复杂场景的显著性检测问题转化为小区域中简单场景的显著性检测问题，从而大大提升检测结果的准确性。此外，本文还构建了一个具有挑战性的交通场景视频显著性数据集。在构建的数据集上的实验结果表明，相比于主流的显著性检测算法，本文提出的算法取得了更好的表现。
运动分割;显著性检测;模型拟合;视频图像
武汉大学
博士
摄影测量与遥感
秦前清;罗斌
2020
中文
TP391.41
2021-11-24（万方平台首次上网日期，不代表论文的发表时间）