10.19665/j.issn1001-2400.2019.05.025
结合互信息最大化的文本到图像生成方法
在堆叠式文本到图像生成模型的基础上,针对其生成样本分布不均匀导致多样性不足的问题,提出了一种结合局部-全局互信息最大化的堆叠式文本到图像的生成对抗网络模型.首先利用生成模型将全局向量解耦得到不同尺度特征图;然后通过最大化特征图与全局向量间的互信息,对图像全局特征与文本描述的相关性进行增强;最后,将特征图提取为局部位置特征向量,通过最大化局部位置特征向量与全局向量之间的平均互信息,加强局部位置特征与文本描述的相关性,得到更紧密的文本到图像的映射关系.在CUB数据集上的实验验证了该方法能有效地提高生成样本的多样性,同时在主观评价上能生成语义精确度更高的样本,更接近自然图像.
图像生成、互信息、生成对抗网络、局部位置特征向量
46
TP183(自动化基础理论)
国家自然科学基金61661017;广西自然科学基金2016GXNSFAA380149
2019-12-03（万方平台首次上网日期，不代表论文的发表时间）
共9页
180-188
