10.16451/j.cnki.issn1003-6059.202210006
基于伪孪生网络双层优化的对比学习
目前,基于伪孪生网络的对比学习算法使用各种组件以获得最优学生网络,但忽略教师网络在下游任务中的表现,因此,文中提出基于伪孪生网络双层优化的对比学习,促进学生网络和教师网络相互学习,获得最优教师网络.双层优化策略包括基于近邻优化的学生网络优化策略和基于随机梯度下降的教师网络优化策略.基于近邻优化的学生网络优化策略让教师网络成为约束项,帮助学生网络更好地向教师网络学习.基于随机梯度下降的教师网络优化策略求解近似教师网络,梯度更新教师网络.在5个数据集上的实验表明,文中算法取得较高的k-NN(k=1)分类精度和线性分类精度,特别在批次大小较小时,优势较大.
对比学习、双层优化、学生网络、近邻优化、教师网络、随机梯度下降
35
TP391(计算技术、计算机技术)
科技创新新一代人工智能重大项目;国家自然科学基金;国家自然科学基金;国家自然科学基金
2022-11-24（万方平台首次上网日期，不代表论文的发表时间）
共11页
928-938
