ERNIE1.0—3.0技术变化情况

百度 ERNIE 模型有近 4 年的迭代史，获得多个 SOTA 结果。最早的 ERNIE 1.0 是百度在2019 年 3 月提出的，该模型基于谷歌 BERT 模型，引入了真实世界的语义知识，增强了模型的语义表示能力。2019 年 7 月 ERNIE 2.0 问世，引入了持续学习和多任务学习概念，在16 个中英文数据集上获得 SOTA（state-of-the-art，目前最好的意思）结果。2021 年 7 月，ERNIE 3.0 问世，提出了多范式统一预训练框架，将自回归和自编码网络进行了融合，并在训练时加入了知识图谱类数据，在 SuperGLUE 测试基准上获得 SOTA 结果。