学位专题

封面
声明
中文摘要
英文摘要
目录
1 绪论
1.1 课题研究背景
1.2 国内外研究现状
1.2.1 强化学习基础
1.2.2 强化学习训练效率
1.2.3 强化学习稳定性
1.2.4 强化学习应用验证
1.3 本文研究内容
1.3.1 将李亚普洛夫稳定性分析嵌入奖励塑形
1.3.2 将奖励轨迹方差降低操作嵌入奖励塑形
1.3.3 将期望最大化算法嵌入奖励融合塑形超参数辨识
1.3.4 将所提出的奖励塑形理论框架应用于机械灵巧手操作
1.4 本文主要工作贡献与联系
2 基于李亚普洛夫稳定性分析的强化学习奖励塑形方法
2.1 引言
2.2 问题描述
2.2.1 Q学习
2.2.2 奖励塑形
2.3 基于李亚普洛夫函数的奖励塑形
2.3.1 最优不变性
2.3.2 收敛性保证
2.3.3 最优策略渐进无偏性
2.4 实验结果
2.4.1 离散动作场景
2.4.2 连续动作场景
2.5 本章小结
3 基于奖励轨迹方差减少的奖励平滑塑形方法
3.1 引言
3.2 Pendulum奖励掉落现象
3.3 奖励平滑塑形
3.3.1 奖励轨迹方差减小性质
3.3.2 值函数不变性
3.3.3 TD-Target方差减小性质
3.3.4 Pendulum奖励掉落现象回顾
3.4 收敛性保证
3.5 实验结果
3.6 本章小结
4 基于期望最大化的奖励塑形融合方法
4.1 引言
4.2 奖励塑形融合
4.3 基于期望最大化的奖励塑形融合
4.3.1 E-step
4.3.2 M-step
4.3.3 整体流程
4.4 实验结果
4.4.1 超参估计
4.4.2 ERS对于LRS和SRS的结合
4.5 本章小结
5 奖励塑形驱动的强化学习在机械手灵巧操作中的应用
5.1 引言
5.2 机械灵巧手D-Hand设计
5.3 机械灵巧手阀门转动任务场景构建
5.4 仿真环境实验结果
5.5 域随机化迁移
5.6 本章小结
6 总结与展望
6.1 本文研究工作总结
6.2 本文的主要创新点
6.3 工作展望
致谢
参考文献
附录1 答辩委员会决议
附录2 攻读学位期间取得的研究成果
附录3 公开发表的学术论文与博士学位论文的关系
附录4 攻读学位期间参与的科研项目