基于生成对抗网络的零样本学习方法研究
随着计算机视觉的发展，图像分类技术的应用越来越广泛。传统的图像分类技术通常需要大量带标签的训练数据，而在现实生活中，收集有标签的样本存在许多困难。另外，面对未来新出现的类别，人类难以为其收集带标签样本。为了解决这些问题，零样本学习得到了广泛的研究。 零样本学习旨在通过已知类训练模型，解决未知类的分类问题。但训练过程中只有已知类样本，因而存在数据不均衡的问题。近年来，许多方法采用生成对抗网络（GAN），通过生成未知类视觉样本来解决这一问题。然而，视觉与语义特征之间存在间隔问题，导致这类基于生成对抗网络的方法并不能保证生成样本的质量。此外，目标类别语义描述之间的关联性不足也将影响虚拟样本的质量。为了解决上述问题，本文对基于生成对抗网络的零样本学习方法展开研究，主要内容如下: 针对视觉与语义特征之间的间隔问题，本文提出一种基于空-频域特征融合的生成式零样本学习方法（GSFDFF）。1）该方法在GAN之后增加了重构器模块，当GAN利用语义描述生成虚拟视觉特征后，重构器再将其重新转义为语义描述。以此实现了视觉空间和语义空间的双向映射，缓解了视觉与语义之间的间隔问题。2）本文在GSFDFF的重构器模块中引入对轮廓信息与高频细节具有高度敏感性的Haar小波变换来提取样本的频域特征，并使用多层感知器来实现样本空间域特征和频域特征的融合。以此增强重构器的表达能力，使得重构器能够更好地学习视觉语义映射关系，进一步缓解视觉与语义之间的间隔。GSFDFF模型在CUB与SUN数据集上进行实验验证，结果表明，相较于非生成式或其他生成式模型GSFDFF的分类精度均有所提高，证明了所提方法的有效性。 针对目标类语义描述之间关联不足的问题，本文提出一种基于内联知识图谱的多中心化生成式零样本学习方法（MCGIKG）。1）MCGIKG引入具有强大知识表征能力的知识图谱作为辅助，并将其同层级类别进行显式连接形成内联知识图谱，然后将其作为语义描述的补充输入GAN中，以此来增强目标类间语义描述的关联性。2）本文在MCGIKG训练过程中提出一种多中心正则项来约束生成器，使得生成的样本能够趋于不同的中心，丰富了虚拟样本的同时提升了语义描述的鲁棒性，从而间接增强了目标类间语义描述的关联性。MCGIKG模型在ImageNet数据集上进行实验，结果表明，相比之前的方法基于内联知识图谱的方法对已知类与未知类的区分有着良好的效果，并且引入多中心正则项能够使模型取得有效的性能提升。
零样本学习;生成对抗网络;Haar小波变换;内联知识图谱;多中心正则项
北京化工大学
硕士
计算机技术
朱群雄;顾祥柏
2022
中文
TP391.41;TP183
2022-11-04（万方平台首次上网日期，不代表论文的发表时间）