资讯 社区 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

模型效果评估报告

简介

模型训练完成后,模型列表中可以看到模型的结果,包括三个指标:MOTA、MOTP、召回率,也可以点击「完整评估报告」查看更为详细的模型表现,本文档会介绍如何解读模型的各项指标。

模型训练结果

模型的训练结果是如何得到的?

所有训练数据中,系统会随机抽取70%的标注数据作为训练数据,剩余的30%作为测试数据,训练数据训练出的模型去对测试数据进行检测,检测得到的结果跟人为标注的结果进行比对,得到MOTA、MOTP、IDF1-score和召回率。

提示:训练数据,即上传的视频越接近真实业务里需要预测的视频,模型训练结果越具有参考性。

在查看模型评估结果可能需要思考在当前业务场景MOTP与召回率更关注哪个指标,是更希望减少误识别,还是更希望减少误召回。前者更需要关注召回率的指标,后者更需要关注MOTP的指标。同时IDF1-Score可以有效关注MOTP和召回率的平衡情况,对于希望召回与识别效果兼具的场景,IDF1-Score越接近1效果越好。

完整评估报告

如果需要了解更为详细的模型效果表现,可以在模型列表中点击三项指标下方的「完整评估报告」,完整评估报告页面如下图所示:

image.png

评估报告

如下图所示:

image.png

在这部分可以选择模型的版本,以及看到每个版本参与训练的视频数。

整体评估

如下图所示:

在这部分,四项指标的含义如下:

  • MOTA

目标跟踪任务中的MOTA指标,指除误报、丢失目标、ID异常切换情况的正确预测样本占所有样本的比率

对于一个模型而言,MOTA表示这个模型中所有标签的综合识别效果。因效果较差的模型可能存在ID异常切换的情况多,大于样本总数的情况,所以MOTA的取值可能为负,MOTA∈(-∞, 1]。如果MOTA为1,说明所有样本在测试数据中都被正确识别

  • MOTP

目标跟踪任务中的MOTP指标,指各个阈值都为默认值0.5的情况下正确预测的目标数与预测目标总数之比

对于一个标签而言,MOTP越高,说明模型识别出是这个标签的所有结果中,正确数量的占比越高。如果MOTP为1,说明识别出的所有结果都是对的,但可能会存在漏识别

  • 召回率

召回率 Recall = 模型正确预测为该标签的ID数量/该标签真实存在的ID总数

召回率越高,说明模型越完整地识别出这个标签。

详细评估

  • IDF1-score

IDF1-score代表该模型的综合评测效果,越高效果越好。此处为默认平均阈值为0.5时的IDF1-Score

  • IDSW

代表检测目标的ID异常切换的次数。该值越低,模型鲁棒性越好

image.png

  • 错误示例

可查看按照默认阈值下被判定为错误识别的视频片段样本示例,点击左下角的筛选项可查看正确识别、误识别、漏识别的各个情况

image.png

上一篇
模型训练操作说明
下一篇
模型发布