基于RGB-D和深度学习的机器人抓取检测
物品抓取是智能机器人的一项基本技能，在仓储物流或家庭服务等新兴非结构化机器人应用领域，机器人抓取面临环境复杂、操作对象不确定的挑战。为此本文立足于非结构化场景，分别针对机器人常规取放任务和日常操作任务研究设计了两种可适应非规则新物体、新环境的机器人抓取检测方法，基于KinectRGB-D传感器和UR5机械臂构建机器人智能抓取系统以验证抓取检测方法实际效果。 针对机器人取放任务研究了以图像为输入基于卷积神经网络的平面抓取检测方法。为提升平面抓取检测速度和准确率，首先基于先抓取点定位后姿态角估计的思想，提出通用目标检测网络R-FCN和自建抓取角度估计网络双模型级联的平面抓取检测方法，然后从结构优化角度进一步提出基于单模型的平面抓取检测方法。基于双模型级联的抓取检测方法训练周期短，而基于单模型的抓取检测方法检测综合性能更优。两种抓取检测方法实际的检测速度分别为17.5帧每秒和22.7帧每秒，在康奈尔抓取数据集上检测准确率分别高达93.8%和94.2%。 对于日常操作任务中的抓取检测，将其分解成任务约束确定及具体抓取位姿检测两个子问题解决。以物体类别及部件级可供性为依据提取表示任务约束的三维场景中可抓取区域，先基于MaskR-CNN获取像素级可抓取区域，再根据图像像素点与有序点云三维坐标间映射关系并结合离群点滤波实现可抓取区域点云集的提取。考虑实际场景中难以获取完整三维场景信息，提出了基于部分点云的抓取位姿检测方法，以单通道抓取图像表示候选抓取位姿，并通过位置敏感的卷积神经网络实现抓取位姿优选。对比实验证明了可抓取区域提取和抓取位姿检测的优良性能。 以上述抓取检测研究为基础，构建了实际机器人智能抓取系统，开发了以抓取检测为主的感知分析、执行规划与交互控制等功能模块。通过一系列实际场景下的抓取检测和机器人抓取实验验证了本文所提方法的可行性和有效性。
机器人;抓取检测;深度学习;卷积神经网络;位姿检测
东南大学
硕士
控制科学与工程
马旭东;钱堃
2019
中文
TP242.61
2020-07-02（万方平台首次上网日期，不代表论文的发表时间）