模型效果评估报告

简介

模型训练完成后，模型列表中可以看到模型的结果，包括三个指标：MOTA、MOTP、召回率，也可以点击「完整评估报告」查看更为详细的模型表现，本文档会介绍如何解读模型的各项指标。

模型训练结果

模型的训练结果是如何得到的？

所有训练数据中，系统会随机抽取70%的标注数据作为训练数据，剩余的30%作为测试数据，训练数据训练出的模型去对测试数据进行检测，检测得到的结果跟人为标注的结果进行比对，得到MOTA、MOTP、IDF1-score和召回率。

提示：训练数据，即上传的视频越接近真实业务里需要预测的视频，模型训练结果越具有参考性。

在查看模型评估结果可能需要思考在当前业务场景MOTP与召回率更关注哪个指标，是更希望减少误识别，还是更希望减少误召回。前者更需要关注召回率的指标，后者更需要关注MOTP的指标。同时IDF1-Score可以有效关注MOTP和召回率的平衡情况，对于希望召回与识别效果兼具的场景，IDF1-Score越接近1效果越好。

完整评估报告

如果需要了解更为详细的模型效果表现，可以在模型列表中点击三项指标下方的「完整评估报告」，完整评估报告页面如下图所示：

评估报告

如下图所示：

在这部分可以选择模型的版本，以及看到每个版本参与训练的视频数。

整体评估

如下图所示：

在这部分，四项指标的含义如下：

• MOTA

目标跟踪任务中的MOTA指标，指除误报、丢失目标、ID异常切换情况的正确预测样本占所有样本的比率

对于一个模型而言，MOTA表示这个模型中所有标签的综合识别效果。因效果较差的模型可能存在ID异常切换的情况多，大于样本总数的情况，所以MOTA的取值可能为负，MOTA∈(-∞, 1]。如果MOTA为1，说明所有样本在测试数据中都被正确识别

• MOTP

目标跟踪任务中的MOTP指标，指各个阈值都为默认值0.5的情况下正确预测的目标数与预测目标总数之比

对于一个标签而言，MOTP越高，说明模型识别出是这个标签的所有结果中，正确数量的占比越高。如果MOTP为1，说明识别出的所有结果都是对的，但可能会存在漏识别。

• 召回率

召回率 Recall = 模型正确预测为该标签的ID数量/该标签真实存在的ID总数

召回率越高，说明模型越完整地识别出这个标签。

详细评估

• IDF1-score

IDF1-score代表该模型的综合评测效果，越高效果越好。此处为默认平均阈值为0.5时的IDF1-Score

• IDSW

代表检测目标的ID异常切换的次数。该值越低，模型鲁棒性越好

• 错误示例

可查看按照默认阈值下被判定为错误识别的视频片段样本示例，点击左下角的筛选项可查看正确识别、误识别、漏识别的各个情况