基于深度学习和Kalman-Bucy估计的机械臂目标跟踪方法研究
在“工业4.0”以及“中国制造2025”的大背景下，工业机械臂被广泛应用于制造业来实现对机械零件的智能分拣、排列、装配等多种重复性操作，而实现这些操作的前提条件是需要机械臂末端与机械零件保持相对静止状态，即实现目标跟踪。因此，研究机械臂在复杂环境中的动态目标跟踪问题，对提高机械臂在工厂中的自动化、智能化具有重要的意义。本文针对工作环境中存在多种机械零件的复杂场景，对机械臂实现动态目标跟踪的方法进行研究。 首先，基于本文研究背景与实验条件自制机械零件数据集，并采用数据增广技术扩大数据量；构建SSD-MobileNet深度学习模型，通过对数据数量、先验框比例、特征融合与识别精度关系的分析，提出相应改进方法；然后，在模型训练阶段采用迁移学习与浅层冻结策略极大减少训练时间；最后，训练模型实现对机械零件的定位及分类，并获取动态目标的位置信息。 其次，研究无标定的动态目标跟踪方法，建立双目视觉的图像雅克比矩阵，并设计基于图像雅克比矩阵的反馈控制器，利用Kalman-Bucy估计算法在线估计图像雅克比矩阵，无需事先标定双目相机，就可利用双目视觉对动态目标进行自动跟踪。搭建ROS仿真平台，导入UR5e机械臂模型，建立双目视觉相机并导入SSD-MobileNet深度学习模型，通过Kalman-Bucy估计算法，对机械臂跟踪动态目标进行仿真。通过仿真验证本文提出方法的有效。 最后，搭建了基于UR5e机械臂、CCD工业相机和计算机的机械臂动态目标跟踪实验系统对本文提出的目标检测方法与目标跟踪方法进行实验验证。实验结果表明：在多目标动静态共存的复杂环境下，机械臂能够排除干扰实现对目标零件的跟踪，验证了本文所提方法的有效性。 在“工业4.0”以及“中国制造2025”的大背景下，工业机械臂被广泛应用于制造业来实现对机械零件的智能分拣、排列、装配等多种重复性操作，而实现这些操作的前提条件是需要机械臂末端与机械零件保持相对静止状态，即实现目标跟踪。因此，研究机械臂在复杂环境中的动态目标跟踪问题，对提高机械臂在工厂中的自动化、智能化具有重要的意义。本文针对工作环境中存在多种机械零件的复杂场景，对机械臂实现动态目标跟踪的方法进行研究。 首先，基于本文研究背景与实验条件自制机械零件数据集，并采用数据增广技术扩大数据量；构建SSD-MobileNet深度学习模型，通过对数据数量、先验框比例、特征融合与识别精度关系的分析，提出相应改进方法；然后，在模型训练阶段采用迁移学习与浅层冻结策略极大减少训练时间；最后，训练模型实现对机械零件的定位及分类，并获取动态目标的位置信息。 其次，研究无标定的动态目标跟踪方法，建立双目视觉的图像雅克比矩阵，并设计基于图像雅克比矩阵的反馈控制器，利用Kalman-Bucy估计算法在线估计图像雅克比矩阵，无需事先标定双目相机，就可利用双目视觉对动态目标进行自动跟踪。搭建ROS仿真平台，导入UR5e机械臂模型，建立双目视觉相机并导入SSD-MobileNet深度学习模型，通过Kalman-Bucy估计算法，对机械臂跟踪动态目标进行仿真。通过仿真验证本文提出方法的有效。 最后，搭建了基于UR5e机械臂、CCD工业相机和计算机的机械臂动态目标跟踪实验系统对本文提出的目标检测方法与目标跟踪方法进行实验验证。实验结果表明：在多目标动静态共存的复杂环境下，机械臂能够排除干扰实现对目标零件的跟踪，验证了本文所提方法的有效性。
机械臂;动态目标跟踪;深度学习;Kalman-Bucy算法
哈尔滨理工大学
硕士
机械电子工程
张洪鑫
2022
中文
TP241
2022-09-21（万方平台首次上网日期，不代表论文的发表时间）