基于改进Adam优化算法的中文短文本分类方法
针对BERT模型中编码器提取特征信息时因并行计算而缺少文本的时序信息及模型网络复杂度较高易受偏差影响等问题,本文提出一种基于改进Adam优化算法的模型DTSCF-Net.模型采用BERT模型提取短文本的语义特征表示,将语义特征输入到Bi-GRU中,提取具有上下文时序特征的语义信息,输入Maxpooling层筛选最优特征,分类得到该短文本的类别.针对Adam算法在拟合中产生的动量偏差添加校正算法来缓解性能下降,对比两个连续时间步上的校正动量值,选取两个时间步中的动量最大值代入梯度计算,并对学习率添加自适应调节因子,利用上一次迭代的梯度值,实现学习率的自适应调节,提高分类精度.实验表明,DTSCF-Net的分类准确率为94.86％,相较于同实验环境下的基准模型BERT、BERT-Bi-GRU分别提高2.07％、1.71％.结果证明本文所提方法具有一定的性能提升.
文本分类、自适应矩估计、BERT、Bi-GRU、短文本
45
TP391.1(计算技术、计算机技术)
国家自然科学基金;江苏高校优势学科建设工程资助项目;江苏省双创团队人才计划
2023-04-13（万方平台首次上网日期，不代表论文的发表时间）
共7页
132-138
