基于对偶学习的图像风格迁移研究
图像的风格化是一个非常具有挑战的问题，特别对于监督方法尤为如此。因为一张具有特定风格的图像往往是没有对应的源图像(例如一幅油画)，所以要收集这样的且大量的数据是非常困难的、耗力的、费时的，并且人工打标数据价格高昂。所以，如何实现无监督的图像风格化一直是一个困难任务。 由于现有的学习范式很难利用未标注的数据进行学习，为了解决这个问题，相关研究人员提出了新的方法：对偶学习。它与其他学习范式的不同点在于利用人工智能任务互成对偶的特点进行学习，在学习过程中获得反馈信息，于是这些任务彼此之间能相互促进、学习和提升。迄今为止，对偶学习提出已有三年，在此期间，已得到广泛应用，比如文本理解、图像表达和语音识别等，也可以和auto-encoder、GANs等技术相结合。 本文引入对偶学习来处理无监督的图像风格化问题，提出了基于对偶学习的图像风格迁移方法。主要创新工作如下： （1）提出了一个基于对偶学习的无监督方法用于全局图像的风格迁移。该方法的核心是一个对偶学习框架，它由两个任务组成：主任务和对偶任务。主任务完成风格化图像的生成，而对偶任务则实现由风格化图像到内容图像的恢复。为了计算这两个任务中的损失，采用了一种深度卷积网络——VGG19去获取图像的内容特征表达和风格特征表达。所提出的对偶学习算法在一些从公共源收集的图像上进行了测试，并与其它的方法进行了视觉上的比较。实验结果表明对偶学习算法能够获得在视觉上质量更好的风格化图像。 （2）提出了一个在深度卷积网络VGG19上利用对偶学习来对人脸局部属性进行操作的方法。不同于普通的人脸生成方法，所提出方法根据一张源人脸图和给定的人脸局部属性值来实现人脸生成。所生成的图像不仅能够保持源人脸图像身份不变而且还具有给定的人脸属性，而对偶学习机制的加入，使得生成的图像质量更好。所提出的方法在一个公开人脸数据集上进行了评估，并且和其它方法进行了视觉质量上的对比和特定指标上的定量比较，对比结果验证了我们的方法能够得到质量很好的图像。
图像风格迁移;对偶学习;深度卷积网络;人脸局部属性
西华大学
硕士
软件工程
彭宏
2019
中文
TP391.41
2020-04-02（万方平台首次上网日期，不代表论文的发表时间）