此外,ERNIE 3.0 的 语料库包括百科、Feed、百度搜索(包括百家 号、知乎、贴吧、经验)、网络文本、QA-long、QA-short、Poetry 2&Couplet 3、医疗、法律、金融等领域的特定数据以及百度知识图谱(超过 5000万条事实),相比 CLUECorpus2020(100GB)、中文多模态预训练数据(300GB)、CPM-2 使用的 WuDaoCorpus2.0(2.3TB 中文数据和 300GB 英文数据)和 PanGu Corpus(1.1TB)相比,ERNIE 3.0 采取了当时最大的中文预训练语料。