开放能力
开发平台
行业应用
生态合作
开发与教学
资讯 社区 控制台
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术
AR与VR
数据智能
场景方案
部署方案
行业应用
智能教育
智能医疗
智能零售
智能工业
企业服务
智能政务
信息服务
智能园区

评估效果

模型评估

模型训练完成后,可以在「我的模型」列表中查看该模型的效果,以及完整评估结果。

infoflow 2022-03-22 12-03-01.png

「完整评估结果」页面中将记录整体评估与详细评估的报告,包括该模型整体的准确率、F1-score、精确率、召回率,以及评估样本具体数据情况,各分类的精确值、F1-Score、召回值等指标。

整体评估中,各指标的释义如下:

  • 准确率:正确分类的样本数与总样本数之比
  • F1-score:给每个类别相同的权重,计算每个类别的F1-score,然后求平均值
  • 精确率:给每个类别相同的权重,计算每个类别的精确率,然后求平均值
  • 召回率:给每个类别相同的权重,计算每个类别的召回率,然后求平均值

如果单个标签的文本量在100条以内,会影响评估指标的科学有效性,请确保提交的训练数据中每个标签的数据量

模型校验

在完成训练后,发布模型前,可以先进行模型校验,以确保模型在实际环境中能获得预期的性能。操作方法如下:

  1. 在左侧「模型中心」目录中点击「校验模型」,进入校验模型页面
  2. 选择需要校验能力的模型、部署方式、版本,点击「启动模型校验服务」
  3. 校验服务启动后,在左侧输入文本,点击「校验」后,右侧识别结果栏将输出预测结果

    • 校验数据支持两种输入方式,直接输入文本或上传txt格式文本,文本长度上限为512汉字
    • 在识别结果栏中,可进行阈值的调整。置信度在阈值以下的预测结果将不予显示。例如,阈值调整为0.85时,置信度小于85%的预测结果将不予显示。当positive与negative两类标签的置信度均小于85%时,识别结果栏将显示为:“没有满足条件的识别结果”
  4. 若您对预测结果满意,可点击「申请上线」,进行模型的发布
上一篇
发起训练
下一篇
效果优化