开放能力
开发平台
行业应用
生态合作
开发与教学
资讯 社区 控制台
技术能力
语音技术
图像技术
文字识别
人脸与人体识别
视频技术
AR与VR
自然语言处理
知识图谱
数据智能
场景方案
部署方案
行业应用
智能教育
智能医疗
智能零售
智能工业
企业服务
智能政务
智能农业
信息服务
智能园区
智能硬件
EasyDL零门槛AI开发平台

    模型效果评估报告

    简介

    模型训练完成后,模型列表中可以看到模型的结果,包括三个指标:MOTA、MOTP、召回率,也可以点击「完整评估报告」查看更为详细的模型表现,本文档会介绍如何解读模型的各项指标。

    模型训练结果

    模型的训练结果是如何得到的?

    所有训练数据中,系统会随机抽取70%的标注数据作为训练数据,剩余的30%作为测试数据,训练数据训练出的模型去对测试数据进行检测,检测得到的结果跟人为标注的结果进行比对,得到MOTA、MOTP、IDF1-score和召回率。

    提示:训练数据,即上传的视频越接近真实业务里需要预测的视频,模型训练结果越具有参考性。

    在查看模型评估结果可能需要思考在当前业务场景MOTP与召回率更关注哪个指标,是更希望减少误识别,还是更希望减少误召回。前者更需要关注召回率的指标,后者更需要关注MOTP的指标。同时IDF1-Score可以有效关注MOTP和召回率的平衡情况,对于希望召回与识别效果兼具的场景,IDF1-Score越接近1效果越好。

    完整评估报告

    如果需要了解更为详细的模型效果表现,可以在模型列表中点击三项指标下方的「完整评估报告」,完整评估报告页面如下图所示:

    image.png

    评估报告

    如下图所示:

    image.png

    在这部分可以选择模型的版本,以及看到每个版本参与训练的视频数。

    整体评估

    如下图所示:

    在这部分,四项指标的含义如下:

    • MOTA

    目标跟踪任务中的MOTA指标,指除误报、丢失目标、ID异常切换情况的正确预测样本占所有样本的比率

    对于一个模型而言,MOTA表示这个模型中所有标签的综合识别效果。因效果较差的模型可能存在ID异常切换的情况多,大于样本总数的情况,所以MOTA的取值可能为负,MOTA∈(-∞, 1]。如果MOTA为1,说明所有样本在测试数据中都被正确识别

    • MOTP

    目标跟踪任务中的MOTP指标,指各个阈值都为默认值0.5的情况下正确预测的目标数与预测目标总数之比

    对于一个标签而言,MOTP越高,说明模型识别出是这个标签的所有结果中,正确数量的占比越高。如果MOTP为1,说明识别出的所有结果都是对的,但可能会存在漏识别

    • 召回率

    召回率 Recall = 模型正确预测为该标签的ID数量/该标签真实存在的ID总数

    召回率越高,说明模型越完整地识别出这个标签。

    详细评估

    • IDF1-score

    IDF1-score代表该模型的综合评测效果,越高效果越好。此处为默认平均阈值为0.5时的IDF1-Score

    • IDSW

    代表检测目标的ID异常切换的次数。该值越低,模型鲁棒性越好

    image.png

    • 错误示例

    可查看按照默认阈值下被判定为错误识别的视频片段样本示例,点击左下角的筛选项可查看正确识别、误识别、漏识别的各个情况

    image.png

    上一篇
    模型训练操作说明
    下一篇
    模型发布