10.3969/j.issn.2095-2163.2023.07.002
结合双预训练语言模型的中文文本分类模型
针对Word2Vec等模型所表示的词向量存在语义模糊从而导致的特征稀疏问题,提出一种结合自编码和广义自回归预训练语言模型的文本分类方法.首先,分别通过BERT、XLNet对文本进行特征表示,提取一词多义、词语位置及词间联系等语义特征;再分别通过双向长短期记忆网络(BiLSTM)充分提取上下文特征,最后分别使用自注意力机制(Self_Attention)和层归一化(Layer Normalization)实现语义增强,并将两通道文本向量进行特征融合,获取更接近原文的语义特征,提升文本分类效果.将提出的文本分类模型与多个深度学习模型在 3 个数据集上进行对比,实验结果表明,相较于基于传统的Word2Vec以及BERT、XLNet词向量表示的文本分类模型,改进模型获得更高的准确率和F1 值,证明了改进模型的分类有效性.
预训练语言模型、双向长短期记忆网络、自注意力机制、层归一化
13
TP391(计算技术、计算机技术)
全国统计科学研究项目2020LY080
2023-08-29（万方平台首次上网日期，不代表论文的发表时间）
共7页
1-6,14
