特点二:GPT-2 拥有较大的模型容量 GPT-2 最大模型(GPT-2 EXTRA LARGE)的层数达到 48 层,词向量长度到 1,600。1)层数:理解层数对 GPT 模型的影响,需要理解 GPT 的模型架构。GPT 模型由层层堆叠的Transformer 模块组成,因此可以理解为模型层数越多,模型可以完成的非线性映射就越复杂,模型的学习能力更强;2)词向量长度:词向量长度即隐藏层的神经元个数,每一层 Transform er 都是一个隐藏层,隐藏层的神经元个数越多 ,即可以产生越复杂的组合,拟合越复杂的情况,解决越复杂的问题,计算量也随之越来越大。GPT-2 论文(《Language Models are Unsupervised Multitask Learners》)提及四种规模的 GPT-2 模型,GPT-2 的模型层数最多为 48 层,词向量长度(隐藏层维度)最大为 1,600,模型的最大参数量多达 15 亿。