产品服务
语音技术
图像技术
人脸与人体识别
视频技术
AR与VR
自然语言处理
数据智能
知识图谱
软硬一体产品
定制化训练平台
深度学习开放平台
内置离线识别SDK,5分钟快速搭建人脸识别业务应用
硬件开源,软件开放,为机器人打造软硬一体的视觉方案
看得准、听得懂、说得明、交互好的一体化服务机器人
可视化训练模型服务平台,获取高精度定制图像识别、声音识别服务
自助定制专属模板,实现海量单据卡证的结构化识别
智能对话系统开发平台,让产品快速拥有对话交互能力
集合代码环境、算法算力和数据集的线上一站式开发平台
提供深度学习系列公开课与商业案例
最符合中国开发者需要的深度学习框架
基于真实样本的超大规模的开放数据集
AI加速器
AI市场
资讯
社区
百度机器阅读理解技术再获突破,MS MARCO 数据集榜单排行第一
发布日期:2018-09-17 14:42:07浏览量:209次

百度AI的发展脚步从不停歇。百度自然语言处理团队研发的 V-Net 模型以46.15 Rouge-L 得分登上微软的 MS MARCO 机器阅读理解测试排行榜首。

对此,微软 MARCO 官方 Twitter 也发文表示祝贺。

MARCOMicrosoft MAchine ReadingCOmprehension是微软基于搜索引擎 BING 构建的大规模英文阅读理解数据集,包含10万个问题和20万篇不重复的文档。MARCO 数据集中的问题全部来自于 BING 的搜索日志,根据用户在 BING 中输入的真实问题模拟搜索引擎中的真实应用场景,是该领域最有应用价值的数据集之一。

此次百度 NLP MARCO 提交的 V-NET 模型,使用了一种新的多候选文档联合建模表示方法,通过注意力机制使不同文档产生的答案之间能够产生交换信息,互相印证,从而更好地预测答案。值得注意的是,此次百度只凭借单模型single model就拿到了第一名, 并没有提交更容易拿高分的多模型集成ensemble结果。

此前,在机器阅读理解领域,研究者多参与由斯坦福大学发起的 SQuAD 挑战赛。但相比 SQuADMARCO 的挑战难度更大,因为它需要测试者提交的模型具备理解复杂文档、回答复杂问题的能力。

对于每一个问题,MARCO 提供多篇来自搜索结果的网页文档,系统需要通过阅读这些文档来回答用户提出的问题。但是,文档中是否含有答案,以及答案具体在哪一篇文档中,都需要系统自己判断来解决。更有趣的是,有一部分问题无法在文档中直接找到答案,需要阅读理解模型自己做出判断;MARCO 也不限制答案必须是文档中的片段,很多问题的答案必须经过多篇文档综合提炼得到。这对机器阅读理解提出了更高的要求,需要机器具备综合理解多文档信息、聚合生成问题答案的能力。

 

 百度已将阅读理解技术应用于搜索等产品 

百度在自然语言处理领域已经过十余年积累与沉淀,具备了最前沿、最全面、最领先的技术布局,不仅专注于前瞻技术探索,更致力通过技术应用解决实际问题。这也是百度此次选择 MARCO 数据集而不是 SQuAD 的主要原因。目前,百度的阅读理解、深度问答等技术已经在搜索等产品中实际应用,它可通过深入地分析、理解用户的问题,从相关网页中定位答案,并经过总结、提炼、归纳后把答案在显著的位置呈现给用户,使用户不需要点开网页就可以直接获取准确答案,大大提升了用户获取精准信息的效率。这样的技术和服务,每天响应着数亿次的用户请求。

“此次在 MARCO 的测试中取得第一,只是百度机器阅读理解技术经历的一次小考。”百度自然语言处理首席科学家兼百度技术委员会主席吴华表示,“我们希望能够与领域内的其他同行者一起,推进机器阅读理解技术和应用的研究,使 AI 能够理解人类的语言、用自然语言与人类交流,让 AI 更‘懂’人类。”

 

如需合作咨询可点击屏幕右下角标志,提交具体咨询信息;或可进入AI开发者社区,进行沟通交流。