UNIT2.0日志分析说明
tiancorn 发布于2018-06-07 18:22 浏览:1130 回复:2
3
收藏
最后编辑于2018-06-19
 
日志分析 在UNIT2.0 中是你优化BOT对话理解效果 必不可少的重要工作。
它不仅可以帮你发现BOT识别错误的用户需求(意图),还可帮你发现当前BOT没有覆盖的一些核心用户需求,以及BOT已定义意图的使用频率。
定期分析用户对话日志,从中找出未识别意图与识别错误的意图,然后做进一步分析,并做出相应的优化,可以让你的BOT对话理解效果越来越好。总体操作流程见下图:
未识别意图
  • BOT未定义意图:
    1. 如果属于BOT使用场景内核心需求,则应该优化BOT定义,增加这些意图的定义,并添加相应的对话模板、对话样本,训练模型来增加对这部分意图的识别,进一步理解、满足这部分用户需求。
    2. 如果属于BOT使用场景内非核心需求,则可以暂时记录,待核心需求都解决后再慢慢优化。
    3. 如果属于非BOT使用场景需求,则可以把对应的对话日志转为训练样本,并标注为负例样本(意图标注未SYS_OTHER)
  • BOT已定义意图:
    1. 判断该意图为什么没有识别,是没有对应的对话模板?还是对话模板写的不对?如果是仅仅用了对话样本去训练,那是不是训练数据中该意图的对话样本没有或者很少?
    2. 针对上面的原因分析,做进一步的优化调整,比如修改错误的对话模板,或者 把未识别意图的对话内容转为训练样本进行标注,并重新训练。

识别错意图:

  • 这部分对话日志需要人工浏览检查出来,可以搜索BOT使用场景中一些关键字及与该关键字对应实体相关联的词去发现有意图识别错误的情况,比如咖啡店服务员BOT 可以搜索咖啡、咖啡豆、咖啡伴侣等关键词,去看看有无电商购买速溶咖啡、咖啡豆等商品的意图也被识别为了点咖啡的意图。
  • 也可以按照日志分析模块中的置信度去筛选,比如搜索出0~75置信度区间的意图,检查有无识别错误的情况。
  • 平时用户反馈或在对话过程中用户主动纠错(在干预学习的记录里)也是发现意图识别错误的渠道之一。
  • 针对这些识别错的意图要进一步分析原因,可以在平台上点开日志的JSON信息查看详细的原因,如果是对话模板识别的(json中"from_who"为"smart-qu"),则可以找到对应的对话模板进行调整纠正。如果是通过对话样本训练的模型识别的(json中"from_who"为"ml-qu"),则可以补充更多对应意图的对话样本进行标注训练。也可以在平台的对话测试窗口输入相同的对话内容进行校验,并纠正意图,纠正后再在干预学习模块把纠正的对话内容加入训练数据。

BOT已识别意图

  • 可以分析这部分意图在用户对话中的占比、时间,进一步校验你认为并定义的BOT核心意图是否真的对应了用户的核心需求,原来对用户需求的定义是否准确,是否需要调整。

这样的日志分析工作建议定期进行,比如一两周一次,这样周期性的分析用户日志,并针对发现的问题做针对性的优化解决,会让您的BOT越来越聪明,用户体验也会越来越佳。

 
 
 
 
 
收藏
点赞
3
个赞
共2条回复 最后由leegive_lsjin回复于2018-06-19 17:13
#3leegive_lsjin回复于2018-06-19

终于有日志出来了,赞!

0
#2a17631544326回复于2018-06-14

这个流程没谁了,这么详细!

0
TOP
切换版块