10.3969/j.issn.1674-2117.2023.07.027
大模型的基石——Transformer框架
Transformer的发展历史可以追溯到2017年,谷歌公司的研究人员在发表的论文Attention Is All You Need中首次介绍了Transformer,并将其应用于机器翻译任务.这篇论文引起了广泛关注,因为它不仅在机器翻译任务中表现出色,而且还提供了一种新的思路来处理序列数据.在此之后,许多研究人员开始探索如何改进和扩展Transformer框架.例如,有些人提出了基于Transformer的语言模型,以生成自然语言文本.还有人提出了BERT(Bidirectional Encoder Representations from Transformers)模型,它使用Transformer编码器来预训练深度双向表示,从而在多个自然语言处理任务中取得了最先进的结果.
transformer、大模型
TP391;Q966;TP183
2023-04-07(万方平台首次上网日期,不代表论文的发表时间)
共5页
86-90