基于单目图像的三维虚拟试衣关键技术研究
近年来，随着AR/VR的应用场景普及，基于单目图像实现三维虚拟试衣可以为互联网用户带来更便利的购物方式、更丰富的购物选择，极具商业价值，使其成为研究热点。为了更好地呈现出令用户满意的效果，生成纹理细节丰富真实性高的三维虚拟试衣模型成为该领域中的重大挑战。通过将人体和服装的二维信息融合后映射到由深度信息生成的三维人体模型上可以实现基于单目图像的三维虚拟试衣。然而现有的大多数方法存在虚拟试衣时语义分割不准确产生的皮肤-服装相互渗透，服装形变过程中存在过度扭曲，试衣过程中服装印花模糊，以及预测深度信息时手部、服装褶皱等细节模糊和背部预测失真的问题。因此，本文在研究和分析文献的基础之上，提出了基于单目图像三维虚拟试衣的技术，为了达到实现更高质量的三维虚拟试衣的目的，开展了以下工作: (1)针对二维信息融合过程中皮肤-服装相互渗透、服装与人体未对齐且服装纹理模糊的问题，本文提出通过并行不同卷积分辨率的方法，各分辨率分支之间不断进行信息交互，减少人体解析时低维空间中的位置信息的特征损失，有效地缓解了人体分割语义不准确导致的非服装部分产生有歧义的纹理;同时提出使用约束模块对薄板样条插值(TPS)参数正则化从而抑制服装形变时过度拟合导致的薄板样条插值(TPS)参数错误，可以更好的对齐服装和人体;并对试衣模块的生成网络使用级联空间和通道注意力机制的U-Net网络，通道注意力和空间注意力分别完成特征通道和各像素位置的权重学习，增强了对于输入服装特征信息的保留能力，进而提升虚拟试衣二维信息融合的细节表达。 (2)针对生成的三维模型细节模糊且预测生成遮挡区域存在歧义的问题。通过使用并行多分辨率的方式更多的保留了预处理阶段的高频特征，从而减少服装褶皱等细节信息的丢失;同时在生成网络中使用多尺度判别器的架构判断生成的遮挡区域深度信息,加入来自预训练网络的对抗损失函数，从而预测生成更加逼真的三维虚拟试衣模型。 在相同数据集下，本文的方法无论定性对比还是定量分析都有较大提升。与现有的相关研究对比，本方法生成的结果具有丰富的细节和逼真的效果，并通过定量分析结果证明其优越性。
虚拟试衣;三维人体重建;人体解析;多分辨率并行网络;生成对抗网络
武汉纺织大学
硕士
软件工程
胡新荣
2023
中文
TP391.41
2023-08-28（万方平台首次上网日期，不代表论文的发表时间）