10.3969/j.issn1005-2542.2023.01.011
基于多头注意力机制的BM-Linear信用贷款评估模型
信贷评估模型可加快放贷效率、缩减放贷时间.利用Pytorch深度学习框架,组合Bag-of-Words及Bert中多头注意力机制得到BM-Linear评估模型,同时在引入多组信贷训练集的前提下,创造性地构建参数独立训练及参数共用训练的对比实验,探究BM-Linear的优异性.研究表明:BM-Linear首先弱化与信贷训练集的对应关系,解决信贷模型受限于信贷场景问题,减少因反复训练模型所造成的放贷效率低下现象;其次,忽略缺失特征并将离散特征转为信贷文本,降低特征处理造成的信贷干扰,提高信贷评估效率;最后,克服因词袋与信贷词语对应关系所带来的词向量固化问题,实现动态词向量过程,进而提高评估准确率.所提出的BM-Linear模型,可为信贷机构高效评估快速放贷提供支持.
多头注意力机制、Bert、Bag-of-Words、信用贷款、深度学习
32
F272.1(企业经济)
国家自然科学基金;黑龙江省哲学社会科学研究规划项目;教育部人文社会科学研究项目;中央高校基本科研业务费专项资金资助项目;中央高校基本科研业务费专项资金资助项目;广东省基础与应用基础研究基金联合基金青年基金资助项目;深圳市基础研究专项自然科学基金面上项目
2023-02-13（万方平台首次上网日期，不代表论文的发表时间）
共12页
118-129
