10.14132/j.cnki.1673-5439.2022.05.011
一种多参数学习的门控激活函数
激活函数通过自身的非线性机制去激活神经网络,使其能够有效地运行,并保持较高的性能.选择好的激活函数可以对提高网络性能产生较大的影响.ReLU激活函数因其简单有效而成为深度神经网络中最常见的选择,然而,当输入为负时,在反向传播过程中,ReLU梯度将为零,进而导致发生神经元坏死的问题.为此,一种基于软性的门控机制的激活函数Swish和Mish相继提出,该类激活函数主要利用激活函数(如:Sigmpid或Tanh函数)来控制门的开或关,进而实现了神经网络的非线性化需求,并在许多具有挑战性的网络模型和数据集上取得了更好的效果.鉴于上述门控机制运行时,激活函数饱和区的范围相对固定,不能更好地拟合各种网络模型和数据分布.文中提出了一种多参数学习的门控激活函数(A Multi-parameterized Gated Action Function,Mpish),该函数使用多个参数动态地调整激活函数的饱和区范围,从而适应不同的网络模型和数据分布.实验结果表明:该函数能有效提高神经网络训练结果的准确性和稳定性,且可以较好地工作在更深层次的网络模型中.
激活函数、门控机制、深度神经网络
42
TP39(计算技术、计算机技术)
2023-02-15（万方平台首次上网日期，不代表论文的发表时间）
共8页
83-90
