基于多级特征融合的图像超分辨率重建研究
人们的生活中会接触到各种各样的图像，图像质量的高低对人们的学习、工作、娱乐、科研都有着深刻的影响。图像质量的一个重要的评价指标是图像的分辨率。受限于成像器件的成本、固有缺陷和成像环境的影响，所得到的很多图像往往分辨率较低，无法满足人们的要求。图像超分辨率算法是使用软件算法将一幅或多幅相关联的低分辨率图像变成清晰的高分辨率图像。随着人工卷积神经网络的快速发展和大数据时代的到来，一些科研人员基于卷积神经网络构建网络模型进行图像超分辨率重建，并取得了远超传统方法的重建效果。但是这些先进的网络模型也存在一些问题：①这些网络模型往往都是把网络中最后一层输出的特征图用于最终的高分辨率图像重建，没有考虑充分利用网络中间层级输出中包含的图像特征；②之前网络模型往往采用单路径结构设计，无法充分提取图像中的特征；③科研人员们没有考虑充分利用网络中多个层级输出的高、低分辨率特征图进行图像超分辨率重建。本文针对以上问题，主要做了以下创新性的工作： （1）为了解决问题①和②，本文第三章结合多级特征融合技术和双路径网络结构设计了双路多级特征融合网络（DPFFN）。DPFFN中特征提取通过多个串联的双路多级特征融合块（DPFFB）实现，DPFFB设计中一条路径为多个普通卷积稠密相连，另一条路径为多个扩张卷积串联。普通卷积的这一条路径可以不断地提取出图像中新的特征，稠密连接的使用抑制了网络中梯度的消失；扩张卷积的这一条路径在网络同等深度下较普通卷积路径有更大的感受野，能提取到不同于普通卷积路径的图像特征。DPFFN在主干和子模块DPFFB中进行了多级特征融合，充分地利用了网络中间层级生成的包含不同图像特征的特征图。实验结果表明，DPFFN重建出的高分辨率图像与其它先进网络模型相比纹理部分更加清晰，细节更加丰富，在复杂建筑物图像局部区域重建中表现更为出色。不仅如此，在量化指标比较中，在×2、×3、×4放大因子条件下，DPFFN在图像超分辨率领域通常使用的标准测试集上的评估结果优于绝大多数对比网络。 （2）为了解决问题①和③，本文第四章借鉴迭代上下采样模型结构、特征蒸馏等先进设计理念，引入新式残差学习和稠密连接结构，设计了迭代上下采样多级特征融合网络（IUDFFN）。IUDFFN中特征提取主要通过多个稠密连接的迭代上下采样蒸馏块（IUDDB）完成。IUDDB中的上采样块将低分辨率特征图上采样为高分辨率特征图，下采样块将高分辨率特征图下采样为低分辨率特征图，通过将网络中不同层级输出的高分辨率和低分辨率特征图中的特征进行融合，网络模型完成了充分利用高、低分辨率特征图进行图像超分辨率重建的设计思想。在网络可靠性研究中，实验结果验证了IUDFFN中各个结构的设计都对图像重建效果有积极影响。在实验结果对比中，IUDFFN模型取得了优异的量化指标评估结果和视觉观察效果。具体而言，IUDFFN在×3放大因子条件下，在4个常用标准测试集上量化指标的评估结果均远超对比网络模型；在重建图像的视觉观察效果比较中，IUDFFN模型重建的图像与其它目前先进网络模型相比，边缘伪影更少，观感体验更佳。
图像重建;超分辨率;卷积神经网络;特征融合;信息蒸馏
浙江师范大学
硕士
计算机科学与技术
端木春江
2021
中文
TP391.41
2021-11-11（万方平台首次上网日期，不代表论文的发表时间）