产品服务
语音技术
图像技术
人脸与人体识别
视频技术
AR与VR
自然语言处理
数据智能
知识图谱
硬件产品与服务
定制化训练平台
深度学习开放平台
硬件产品
官方认证的硬件产品与百度AI协同应用
百度推出的软硬一体化服务机器人
软硬一体化的人脸识别开发套件
硬件与软件开源的机器人视觉产品方案
硬件赋能
快速赋能移动设备及智能手机
实现自建模型端计算SDK的自动生成
深度学习在终端设备加速的软硬一体方案
端云协同
为抓拍机厂商提供端云对接协议及产品推广
硬件合作
开放评测认证让您的产品加入AI生态
开放与芯片合作,让AI深度走入终端设备
可视化训练模型服务平台,获取高精度定制图像识别、声音识别服务
自助定制专属模板,实现海量单据卡证的结构化识别
智能对话系统开发平台,让产品快速拥有对话交互能力
集合代码环境、算法算力和数据集的线上一站式开发平台
提供深度学习系列公开课与商业案例
最符合中国开发者需要的深度学习框架
基于真实样本的超大规模的开放数据集
实现自建模型端计算SDK的自动生成
AI加速器
AI市场
资讯
社区
百度机器阅读理解技术再获突破,MS MARCO 数据集榜单排行第一
发布日期:2018-09-17 14:42:07浏览量:343次

百度AI的发展脚步从不停歇。百度自然语言处理团队研发的 V-Net 模型以46.15 Rouge-L 得分登上微软的 MS MARCO 机器阅读理解测试排行榜首。

对此,微软 MARCO 官方 Twitter 也发文表示祝贺。

MARCOMicrosoft MAchine ReadingCOmprehension是微软基于搜索引擎 BING 构建的大规模英文阅读理解数据集,包含10万个问题和20万篇不重复的文档。MARCO 数据集中的问题全部来自于 BING 的搜索日志,根据用户在 BING 中输入的真实问题模拟搜索引擎中的真实应用场景,是该领域最有应用价值的数据集之一。

此次百度 NLP MARCO 提交的 V-NET 模型,使用了一种新的多候选文档联合建模表示方法,通过注意力机制使不同文档产生的答案之间能够产生交换信息,互相印证,从而更好地预测答案。值得注意的是,此次百度只凭借单模型single model就拿到了第一名, 并没有提交更容易拿高分的多模型集成ensemble结果。

此前,在机器阅读理解领域,研究者多参与由斯坦福大学发起的 SQuAD 挑战赛。但相比 SQuADMARCO 的挑战难度更大,因为它需要测试者提交的模型具备理解复杂文档、回答复杂问题的能力。

对于每一个问题,MARCO 提供多篇来自搜索结果的网页文档,系统需要通过阅读这些文档来回答用户提出的问题。但是,文档中是否含有答案,以及答案具体在哪一篇文档中,都需要系统自己判断来解决。更有趣的是,有一部分问题无法在文档中直接找到答案,需要阅读理解模型自己做出判断;MARCO 也不限制答案必须是文档中的片段,很多问题的答案必须经过多篇文档综合提炼得到。这对机器阅读理解提出了更高的要求,需要机器具备综合理解多文档信息、聚合生成问题答案的能力。

 

 百度已将阅读理解技术应用于搜索等产品 

百度在自然语言处理领域已经过十余年积累与沉淀,具备了最前沿、最全面、最领先的技术布局,不仅专注于前瞻技术探索,更致力通过技术应用解决实际问题。这也是百度此次选择 MARCO 数据集而不是 SQuAD 的主要原因。目前,百度的阅读理解、深度问答等技术已经在搜索等产品中实际应用,它可通过深入地分析、理解用户的问题,从相关网页中定位答案,并经过总结、提炼、归纳后把答案在显著的位置呈现给用户,使用户不需要点开网页就可以直接获取准确答案,大大提升了用户获取精准信息的效率。这样的技术和服务,每天响应着数亿次的用户请求。

“此次在 MARCO 的测试中取得第一,只是百度机器阅读理解技术经历的一次小考。”百度自然语言处理首席科学家兼百度技术委员会主席吴华表示,“我们希望能够与领域内的其他同行者一起,推进机器阅读理解技术和应用的研究,使 AI 能够理解人类的语言、用自然语言与人类交流,让 AI 更‘懂’人类。”

 

如需合作咨询可点击屏幕右下角标志,提交具体咨询信息;或可进入AI开发者社区,进行沟通交流。