任务总览
任务训练完成后可在任务总览页整体查看任务状态、查看任务训练时的配置详情、启动模型校验、查看模型评估报告以及发布为模型等操作
任务总览页
所以创建完成的任务统一管理在任务总览页,可在当前界面查看每个任务版本的详细情况,总览页展示当前任务的任务基础信息,含任务名称、任务ID、任务最新版本、训练方式、训练算法、训练状态、任务效果、对应模型
任务名称及ID
展示当前任务的任务名称及ID,任务名称支持用户修改
训练方式及训练算法
展示当前版本的训练方式及训练算法设置,AutoDL下将展示用户选择的是高精度或高性能算法,高阶调参模式将展示用户选择的具体网络
训练状态
展示当前任务的训练状态,训练状态分为训练中、训练完成、训练失败
处于训练中状态下可通过hover提示查看当前训练进度
任务训练失败可通过hover提示查看失败原因,或提交工单联系我们,对于失败的任务可查看报错日志定位训练失败原因
任务效果
任务训练完成后可在总览页初步查看任务效果
对应模型
对于训练效果优秀的模型可发布为模型,进行后续部署相关操作,对于已发布任务,可查看当前任务的对应模型
完整评估报告
任务训练后将自动产出模型评估报告,点击【完整评估报告】可查看当前任务版本评估报告
图像分类
下图为图像分类任务完整评估报告,完整评估报告中可以查看该模型的训练配置、准确率、F1-score及按分类查看错误示例。这部分模型效果的指标是基于训练数据集,随机抽出部分数据不参与训练,仅参加模型效果评估计算得来。因此当数据量较少时(如图片数量低于100个),参与评估的数据可能不超过30个,这样得出的模型评估报告效果仅供参考,无法完全准确体现模型效果。
整体评估
整体评估中包含模型准确率以及F1-Score
准确率:基于测试集样本,正确预测样本数与总样本数的比例
F1-Score:为各类别准确率与召回率的调和平均值,整体评估中展示的是各分类的平均F1-Score
详细评估
详细评估中支持用户按分类查看错误实例,以下图举例,错误示例展示图片的正确结果以及实际预测结果,帮助分析错识别的原因
物体检测及实例分割
对于检测和分割任务类型,评估报告中将整体展示mAP、精确率、召回率、不同阈值下的F1-Score表现以及按分类查看错误示例。这部分模型效果的指标是基于训练数据集,随机抽出部分数据不参与训练,仅参加模型效果评估计算得来。因此当数据量较少时(如图片数量低于100个),参与评估的数据可能不超过30个,这样得出的模型评估报告效果仅供参考,无法完全准确体现模型效果。
整体评估
整体评估中包含模型mAP、精确率以及召回率
mAP:mAP(mean average precision)是Object Detection算法中衡量算法效果的指标。对于物体检测任务,每一类object都可以计算出其精确率(Precision)和召回率(Recall),在不同阈值下多次计算/试验,每一类object都可以计算出其精确率和召回率,在不同阈值下多次计算,每个类都可以得到一跳P-R曲线,曲线下的面积就是average precision(AP)的值。"mean"的意思是对每个类的AP再求平均,得到的就是mAP的值。mAP在[0,1]区间,越接近1模型效果越好
- 精确率:某类样本正确预测为该类的样本数占预测为该类样本的总样本数的比例
- 召回率:某类样本正确预测为该类的样本数占标注为该类的总样本数
详细评估
详细评估中展示当前任务在不同阈值下的F1-score表现,以及最优F1-score对应的建议阈值
按标签查看错误示例,点击可查看详细识别结果
查看历史版本
任务总览页单个任务仅展示最新版本,如需查看当前任务全部版本,在点击【历史版本】
查看版本配置
可通过在任务总览页点击【查看版本配置】进入
版本配置页主要记录当前版本发起训练是所选用的模型、训练参数、训练数据以及数据增强策略
任务校验
在任务总览页点击【校验】可对当前任务版本启动校验服务
可通过输入单张图片查看当前任务版本的实际预测效果,支持调整预测的阈值
发布为模型
飞桨EasyDL桌面版在任务训练完成后提供评估、校验等功能帮助了解任务效果,在任务满足实际使用要求后,考虑模型部署相关问题时,可将任务发布为模型
任务与模型一一对应,当前任务首次发布是需填写模型名称且当前版本会被命名为v1版本,后续任务版本发布时将会默认发布到已创建模型下,版本号根据发布顺序排布