文心大模型：知识增强的NLP模型详解

吴华，百度技术委员会主席

预训练语言模型技术的发展，快速推进了自然语言处理领域各个任务效果的大幅提升。本报告将介绍百度文心大模型的发展历史，分享知识增强的NLP大模型相关内容，并分享在持续可学习的模型框架上，如何引入知识图谱、多语言、多模态等多元异构信息，不断增强模型能力，从而大幅提升模型效果。

文心大模型：CV基础模型及应用

王井东，百度计算机视觉首席科学家

视觉基础模型的本质是从大量的数据中学到视觉知识并融合到模型中，用以提升下游视觉任务性能。本报告介绍百度在视觉基础模型预训练这一领域的几项代表性工作及其在实际业务应用中的性能表现。报告首先将介绍基于图像文本和视频文本弱监督预训练视觉表征学习，其提升了图像、视频以及商品图像的搜索性能。然后，将介绍自监督表征预训练在通用领域和垂直领域（如OCR结构和人脸活体检测）的工作。最后，会介绍打通基础模型落地的模型小型化技术。

文心大模型：基于飞桨的分布式训练和

高性能推理

于佃海，百度飞桨总架构师

大模型带来效果提升的同时，也给训练和推理部署带来了新的挑战。依托于飞桨强大的分布式训练能力，文心大模型高效迭代演进，成功发布了规模和效果领先的系列模型，并在超大规模模型上具备高速推理能力。本报告将介绍大模型对深度学习分布式训练带来的技术挑战和应对，飞桨在大模型训练上的创新技术和整体解决方案，以及在支持文心大模型训练中的实践经验，同时会介绍飞桨支持文心大模型高性能推理方面的最新进展。

文心·NLP大模型工具、平台及应用

孙宇，百度杰出研发架构师

人工智能时代，充分利用大数据和大模型，兼顾落地成本及部署效率，需要结合技术和产业应用。文心大模型中发布最早、应用最广的知识增强NLP模型ERNIE，曾在全球权威榜单GLUE、SuperGLUE登顶榜首，在金融、通信、企业服务、互联网等行业取得广泛应用。本次报告主要聚焦基于ERNIE打造的NLP大模型工具与平台，通过实际应用案例，分享如何充分利用世界领先的ERNIE系列大模型提升应用效果，创造业务价值。