中文预训练模型ERNIE2.0模型下载及安装
凡尔林的眼泪zy 发布于2019-11 浏览:4974 回复:11
4
收藏

2019年7月,百度ERNIE再升级,发布持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型, 它利用百度海量数据和飞桨(PaddlePaddle)多机多卡高效训练优势,通过深度神经网络与多任务学习等技术,持续学习海量数据和知识。基于该框架的艾尼(ERNIE)预训练模型,已累计学习10亿多知识,包括词法、句法、语义等多个维度的自然语言知识,有很强的通用语义表示能力,适用于各种NLP应用场景,效果提升明显,使用高效、便捷。

本篇内容教大家如何下载和使用!
 
一、预训练模型下载

ERNIE 2.0 英文Base 模型

https://ernie.bj.bcebos.com/ERNIE_Base_en_stable-2.0.0.tar.gz

包含预训练模型参数、词典vocab.txt、模型配置ernie_config.json

ERNIE 2.0 英文Large 模型

https://ernie.bj.bcebos.com/ERNIE_Large_en_stable-2.0.0.tar.gz

包含预训练模型参数、词典vocab.txt、模型配置ernie_config.json
 
二、数据下载

中文数据:https://ernie.bj.bcebos.com/task_data_zh.tgz

英文数据:由于数据集协议问题,在这里无法直接提供英文数据集。GLUE 的数据下载方式请参考GLUE 主页(https://gluebenchmark.com/tasks)以及GLUE 提供的数据下载代码(https://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e)。

假设所有数据集下载放置的路径为 $GLUE_DATA,将数据下载完毕后,执行 sh ./script/en_glue/preprocess/cvt.sh $GLUE_DATA 将完成所有数据的格式转换,默认转换后的数据会输出到文件夹./glue_data_processed/
 
三、PaddlePaddle安装

本项目依赖于Paddle Fluid 1.5,请参考安装指南(https://www.paddlepaddle.org.cn/#quick-start)进行安装。

【重要】安装后,需要及时的将CUDA、cuDNN、NCCL2 等动态库路径加入到环境变量LD_LIBRARY_PATH 之中,否则训练过程中会报相关的库错误。具体的paddlepaddle配置细节请查阅:https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/beginners_guide/quick_start_cn.html

如果您想了解更多的Paddle 的相关信息,例如针对实际问题建模、搭建自己网络等,这里有更多的来自官方的文档供您参考:
基本概念(https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/user_guides/howto/basic_concept/index_cn.html):介绍了Fluid 的基本使用概念
准备数据(https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/user_guides/howto/prepare_data/index_cn.html):介绍使用Fluid 训练网络时,数据的支持类型及传输方法
配置简单的网络(https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/user_guides/howto/configure_simple_model/index_cn.html): 介绍如何针对问题建模,并利用Fluid 中相关算子搭建网络
训练神经网络(https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/user_guides/howto/training/index_cn.html):介绍如何使用Fluid 进行单机训练、多机训练、以及保存和载入模型变量
模型评估与调试(https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/user_guides/howto/evaluation_and_debugging/index_cn.html):介绍在Fluid 下进行模型评估和调试的方法

ERNIE的其他依赖列在requirements.txt文件中,使用以下命令安装 
pip install -r requirements.txt

 

划重点!
查看ERNIE模型使用的完整内容和教程,请点击下方链接,建议Star收藏到个人主页,方便后续查看。

GitHub:https://github.com/PaddlePaddle/ERNIE

版本迭代、最新进展都会在GitHub第一时间发布,欢迎持续关注!

也邀请大家加入ERNIE官方技术交流QQ群:760439550,可在群内交流技术问题,会有ERNIE的研发同学为大家及时答疑解惑。



 

收藏
点赞
4
个赞
共11条回复 最后由春水shine回复于2021-01
#17春水shine回复于2021-01
#15 Forcezjy123回复
您好我想问下中文的ERNIE2.0模型在哪下载呢,仓库好像找不到,能贴下地址吗  
展开

ERNIE2.0暂时未开源,可以通过文心NLP开发套件以及文心公有云平台体验ERNIE2.0的效果

链接:https://wenxin.baidu.com/

0
#16JavaRoom回复于2020-12

在琢磨

0
#15Forcezjy123回复于2020-12

您好我想问下中文的ERNIE2.0模型在哪下载呢,仓库好像找不到,能贴下地址吗

 

0
#9Randcase回复于2020-08
#8 Randcase回复
标题 让我误会有 中文了

有 数据集 和源码 是不是说 我如果 有足够机器 我可以自己把 这个 2.0 训练出来

0
#8Randcase回复于2020-08

标题 让我误会有 中文了

0
#7Randcase回复于2020-08

好 我要学下

0
#6杨凯kd回复于2020-03

感谢分享,最近刚好在学习ernie

0
#5春水shine回复于2020-01

很不错哦

 

0
#4rose20135188回复于2019-11

抽空来学习一下.

0
#3何必固執回复于2019-11

越来越完善,详细了

0
#2rose20135188回复于2019-11

了解一下这方面的知识。

0
快速回复
TOP
切换版块