基于深度学习的跨域服装检索方法研究
随着互联网和服装电子商务的快速发展，网上服装图像数量急剧增长。对海量的服装图像进行自动化的准确检索，从商业和学术角度来看，都是一个非常有意义的工作。当前，服装图像检索技术主要分为基于文本和基于内容的两种方法。基于文本的方法过于依赖对图像的文本标注。同时，由于语言和表达习惯的差异，检索效果受到了很大限制。目前很多基于内容的服装检索方法在同域数据集上取得了很高的准确率,但在跨域数据集上效果较差。然而实际使用中，用户随手拍摄的图像和商店拍摄的标准图像存在很大差异，可以视为来自两个不同的异构域。针对当前的跨域服装检索任务中特征提取准确性欠缺的问题，本文基于深度学习的理论，提出了结合混合注意力和正交特征融合的跨域服装检索方法，主要工作如下: （1）提出一种结合混合注意力的跨域服装检索方法RST-EAM。服装图像中花纹、图案等局部细节特征十分重要，同时无效的背景、光照等会对特征提取造成干扰。针对此问题，在基于行人再识别的服装检索强基线RST网络的基础上，对骨干特征提取网络中的每个残差块中都加入混合注意力模块。该模块是一个轻量级的模块，在通道轴和空间轴上都建立特征之间的重要性关系，完成特征的重要性分配，抑制背景噪声的表达，提高对局部细节特征的关注度，获取对于跨域服装检索更有效的特征。之后,将本文方法与其他注意力方法和其他跨域服装检索方法在DeepFashion服装数据集中Consumer-to-shop服装检索子集进行比较，验证方法的优越性。 （2）提出一种基于正交特征融合的跨域服装检索方法EAN-DOLG。深层网络能提取出有代表性的特征描述，但弱化了低层的细节信息和中间层的款式信息。针对此问题，在RST-EAM特征提取网络的基础上，引入了特征融合模块，利用多尺度空洞卷积和简单的自我注意提取具有代表性的局部信息，利用广义均值池化提取全局信息。并将局部信息与全局信息进行聚合生成更适用于跨域图像检索的特征表示。同时采用三元损失、中心损失、分类损失和质心损失联合的损失函数约束训练过程，在检索阶段使用质心损失缩短检索时间。本文方法在DeepFashion数据集中取得了较好的检索性能。实验结果表明，正交特征融合对于服装检索准确率有较好的提高。
跨场景;服装检索;注意力机制;特征融合;质心损失
武汉纺织大学
硕士
软件工程
魏雄
2023
中文
TP391.41
2023-08-28（万方平台首次上网日期，不代表论文的发表时间）