效果评估

  使用准确标注的评估集数据，判断当前训练好的模型识别效果如何，可以根据评估集结果有针对性的补充训练数据优化模型。

• 计算方式：

  • 整体准确率 = TT / (TT + TF + FT + T1)
  • 整体召回率 = TT / (TT + TF + T0 + T1)
  • 意图准确率 = TT + TF / (TT + TF + FT + T1)
  • 意图召回率 = TT + TF / (TT + TF + T0 + T1)

• 计算说明：

  • TT：Query应该识别，且识别出正确意图和词槽
  • TF：Query应该识别，且识别出正确意图，但词槽不对
  • T0：Query应该识别，但未识别出意图
  • T1：Query应该识别，但识别出错误意图
  • FT：Query不应该识别，但识别出意图