【文末有奖】ERNIE技术沙龙活动上海站回顾
李马克lee 发布于2019-12-04 浏览:2111 回复:8
1
收藏
最后编辑于2020-12-19

作为百度自研的持续学习语义理解框架,艾尼(ERNIE)自3月发布了1.0版本后就受到了学术界和产业界的持续关注。7月,百度又强势发布了ERNIE2.0,在中英文16个任务上全面超越BERT和XLNet。随后 ERNIE 也加快了自己的产业化进程,于今年11月对外发布了基于ERNIE的语义理解开发套件,全面覆盖了训练、调优、部署等开发流程,具备轻量方案、能力全面、极速预测、部署灵活、平台赋能等五大特色。

为了响应开发者们深度交流的需求,增进开发者们对ERNIE的理解,并让ERNIE在实际应用中更好地发挥作用,百度AI快车道活动带着ERNIE 更完美更轻量级的解决方案,再次来到上海,举办了聚焦ERNIE的第二场技术沙龙活动。

活动当天参会的开发者们热情高涨,现场不乏企业的资深算法工程师、技术负责人、企业负责人等带着实际应用需求来到现场交流,活动现场气氛持续火热。

ERNIE技术沙龙活动现场

来自百度的明星讲师为NLP开发者们带来精彩分享。第一环节,讲师围绕实际应用场景,对ERNIE的实现原理、产品优势以及在真实场景中的应用案例进行了详尽的解读。

ERNIE理论介绍课程

 

活动的第二环节,讲师通过现场实践和交流环节,让大家得以快速上手,能在真实应用和自己所需场景中快速用ERNIE 解决实际问题,取得更好效果。现场试跑的 ERNIE 模型的NLP开发者们也都表示赞叹,希望能把ERNIE运用到自己的工作与生活之中。

ERNIE实践应用课程

开发者们现场实战ERNIE

为了给到场的开发者们提供更好的体验,沙龙活动的最后设置了Q&A交流环节供开发者们与讲师进行深度交流。开发者们从ERNIE的原理实现、优势特点到ERNIE的应用效果、应用落地以及百度ERNIE的深度合作要求等各个方面提出了很多非常有深度和思考力的问题,ERNIE项目组的成员也都热情、认真地一一回复,大家在现场都收获满满。

 

为了一解许多开发者朋友未临现场之憾,我们特意总结了现场提出的典型问题整理如下,看看是否也能解决你在ERNIE使用过程中的问题:

1. ERNIE的多任务持续学习是怎么实现的?

- ERNIE2.0 的预训练任务是一个逐步增加的过程,先训练Task1,然后逐步增加到多个 TaskN,多个 Task 的训练是按照一定的概率分布对 Task 进行采样,比如: 第一个 batch 训练Task1第2个batch 训练Task2 。训练过程中是通过多机多卡训练,有些卡去训练任务1,有些卡训练任务2。

 

2. 在哪里可以找到ERNIE的详细使用教程?

- 可以访问https://github.com/PaddlePaddle/ERNIE/blob/develop/README.zh.md 参考详细的ERNIE使用教程。

 

3. ERNIE-行业模型的开放计划?

- 我们目前正在训练部分行业的ERNIE模型,未来有计划在平台上开放,敬请持续关注。

 

4. 实体识别错误对ERNIE1.0学习是否有影响?

- 没有影响, ERNIE 1.0并不直接学习实体识别算法的结果,而是通过实体识别算法所切分的实体边界对文中原本的实体进行完整的掩码,所以没有影响。

 

5. 我们有数据有保密性需求,可以私有部署下训练ERNIE 2.0吗?

- 您可以访问EasyDL平台使用ERNIE 2.0:https://ai.baidu.com/easydl/pro

   如果您有特殊的合作需求,可以加入ERNIE官方技术交流群(760439550)与我们联系。

 

6. ERNIE如何处理比较长的文档?

- 可以进行截断处理,或者使用层次化Fine-tuning的网络处理。不过我们也在研发专门适配长文本的通用预训练模型,后续进展请多多关注。

 

7. ERNIE能否做seq2seq任务?

- 可以,目前需使用者实现seq2seq任务的Fine-tuning代码。

 

先别走开,有奖互动来咯!!!

【有奖互动1】

如果上述问题与解答未能解决你对ERNIE的疑惑,欢迎在评论区留下你对 ERNIE 的使用、原理、理解等方面的任何问题,百度NLP工程师会尽快回复解答您的问题。

同时,我们也会在所有问题中抽取5个优质问题,为每位提出者送出百度定制U盘/百度定制马克杯/百度定制雨伞 1个(奖品数量有限,随机发放其中1种奖品)。

活动截至时间:2019/12/18 24:00

 

【有奖互动2】

如果你已经是ERNIE的使用者,欢迎你在ERNIE技术社区分享使用经验或案例介绍。我们将选取3篇点赞数最高的内容,为每位作者送出无线蓝牙耳机/无线蓝牙鼠标/百度定制珐琅对杯 1个(奖品数量有限,随机发放其中1种奖品)。

ERNIE社区:https://ai.baidu.com/forum/topic/list/203

发帖格式:【ERNIE案例分享】-xxxxxxxxx(发帖后请在该帖评论区)

活动截至时间:2019/12/18  24:00

 

至此,ERNIE技术沙龙上海站完满结束。12月21日,百度AI快车道ERNIE专场将首次来到四川成都,盛宴持续,欢迎成都的开发者朋友们亲临现场与ERNIE深入交流。

成都站报名现已正式开启:https://ai.baidu.com/forum/topic/show/956991

-------------------

扫码关注百度NLP官方公众号,获取百度NLP技术的第一手资讯!

加入ERNIE官方技术交流群(760439550),百度工程师实时为您答疑解惑!

立即前往GitHub( github.com/PaddlePaddle/ERNIE )为ERNIE点亮Star,马上学习和使用起来吧!

收藏
点赞
1
个赞
共8条回复 最后由wangwei8638回复于2020-12-19
#11wangwei8638回复于2020-12-19
#4 凌烟阁主人回复
心累,尝试了有十分钟修改帖子内容,依然不能发帖,换名字,标签都不可以,显示各种情况无法通过验证,发不了,随便回复在这了,这个帖子审核机制有点问题吧 【ERNIE案例分享】ERNIE问答系统实践 项目背景:我们项目中有一个小模块,主要功能是解决一些常用问题的问答功能,实现思路是通过语义相似度匹配来完成在问答资源库中检索最相似问题,进而推荐给用户其对应的答案。 当前实现当前我们使用BERT来对问句做embedding,然后通过余弦相似度,度量其相似度,效果很好,比MLP的效果好。 ERNIE实现: 这里我简单使用ernie来完成一个简单的问答系统的的demo,主要是做语义相似度匹配 基本思路如下: 对于预处理的FAQ问答数据,先对问题数据通过ERNIE embedding离线处理为向量,存储在数据库中 对于在线请求的问题数据,实时通过ernie embedding为向量,然后通过逐一计算该向量与数据库中所有问句的向量的余弦相似度,选取最相似的问题作为候选问题 然后通过问题的索引,将对应的答案,返回给用户
展开

审核机制比以前好多了

0
#8wangwei8638回复于2020-06-08

ERNIE在哪里有具体应用

0
#7凌烟阁主人回复于2019-12-26
#5 李马克lee回复
感谢您的参与,请在评论区您留下您的邮箱地址,我们的工作人员会尽快与您联系安排寄送奖品。
展开

感谢回帖,谢谢

0
#6凌烟阁主人回复于2019-12-26
#5 李马克lee回复
感谢您的参与,请在评论区您留下您的邮箱地址,我们的工作人员会尽快与您联系安排寄送奖品。
展开

邮箱地址 674361437@qq.com

0
#5李马克lee回复于2019-12-26
#4 凌烟阁主人回复
心累,尝试了有十分钟修改帖子内容,依然不能发帖,换名字,标签都不可以,显示各种情况无法通过验证,发不了,随便回复在这了,这个帖子审核机制有点问题吧 【ERNIE案例分享】ERNIE问答系统实践 项目背景:我们项目中有一个小模块,主要功能是解决一些常用问题的问答功能,实现思路是通过语义相似度匹配来完成在问答资源库中检索最相似问题,进而推荐给用户其对应的答案。 当前实现当前我们使用BERT来对问句做embedding,然后通过余弦相似度,度量其相似度,效果很好,比MLP的效果好。 ERNIE实现: 这里我简单使用ernie来完成一个简单的问答系统的的demo,主要是做语义相似度匹配 基本思路如下: 对于预处理的FAQ问答数据,先对问题数据通过ERNIE embedding离线处理为向量,存储在数据库中 对于在线请求的问题数据,实时通过ernie embedding为向量,然后通过逐一计算该向量与数据库中所有问句的向量的余弦相似度,选取最相似的问题作为候选问题 然后通过问题的索引,将对应的答案,返回给用户
展开

感谢您的参与,请在评论区您留下您的邮箱地址,我们的工作人员会尽快与您联系安排寄送奖品。

0
#4凌烟阁主人回复于2019-12-18

心累,尝试了有十分钟修改帖子内容,依然不能发帖,换名字,标签都不可以,显示各种情况无法通过验证,发不了,随便回复在这了,这个帖子审核机制有点问题吧

【ERNIE案例分享】ERNIE问答系统实践

项目背景:我们项目中有一个小模块,主要功能是解决一些常用问题的问答功能,实现思路是通过语义相似度匹配来完成在问答资源库中检索最相似问题,进而推荐给用户其对应的答案。

当前实现当前我们使用BERT来对问句做embedding,然后通过余弦相似度,度量其相似度,效果很好,比MLP的效果好。

ERNIE实现:

这里我简单使用ernie来完成一个简单的问答系统的的demo,主要是做语义相似度匹配

基本思路如下:

对于预处理的FAQ问答数据,先对问题数据通过ERNIE embedding离线处理为向量,存储在数据库中

对于在线请求的问题数据,实时通过ernie embedding为向量,然后通过逐一计算该向量与数据库中所有问句的向量的余弦相似度,选取最相似的问题作为候选问题

然后通过问题的索引,将对应的答案,返回给用户

1
#3凌烟阁主人回复于2019-12-06
#2 凌烟阁主人回复
 在获取输入句子/词经过 ERNIE 编码后的 Embedding 表示的方法,除了官方文档介绍的方法,你们有单独开发类似bert-as-service 直接做encode()的接口吗?据说11月中旬会开放
展开

running build_ext
building '_mysql' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

----------------------------------------
Command "e:\python\python.exe -u -c "import setuptools, tokenize;__file__='C:\\Users\\12261\\AppData\\Local\\Temp\\pip-install-a8ipp709\\mysqlclient\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record C:\Users\12261\AppData\Local\Temp\pip-record-trgp03xt\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\12261\AppData\Local\Temp\pip-install-a8ipp709\mysqlclient\

 

安装出现这个问题,怎么解决呢

0
#2凌烟阁主人回复于2019-12-06

 在获取输入句子/词经过 ERNIE 编码后的 Embedding 表示的方法,除了官方文档介绍的方法,你们有单独开发类似bert-as-service

直接做encode()的接口吗?据说11月中旬会开放

0
快速回复
TOP
切换版块