资讯 社区 文档 控制台
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术
AR与VR
数据智能
场景方案
部署方案
行业应用
智能教育
智能医疗
智能零售
智能工业
企业服务
智能政务
信息服务
智能园区

评估效果

模型评估

模型训练完成后,可以在「我的模型」列表中查看该模型的效果,以及完整评估结果。

infoflow 2022-03-22 12-03-01.png

「完整评估结果」页面中将记录整体评估与详细评估的报告,包括该模型整体的准确率、F1-score、精确率、召回率,以及评估样本具体数据情况,各分类的精确值、F1-Score、召回值等指标。

整体评估中,各指标的释义如下:

  • 准确率:正确分类的样本数与总样本数之比
  • F1-score:给每个类别相同的权重,计算每个类别的F1-score,然后求平均值
  • 精确率:给每个类别相同的权重,计算每个类别的精确率,然后求平均值
  • 召回率:给每个类别相同的权重,计算每个类别的召回率,然后求平均值

如果单个标签的文本量在100条以内,会影响评估指标的科学有效性,请确保提交的训练数据中每个标签的数据量

模型校验

在完成训练后,发布模型前,可以先进行模型校验,以确保模型在实际环境中能获得预期的性能。操作方法如下:

  1. 在左侧「模型中心」目录中点击「校验模型」,进入校验模型页面
  2. 选择需要校验能力的模型、部署方式、版本,点击「启动模型校验服务」
  3. 校验服务启动后,在左侧输入文本,点击「校验」后,右侧识别结果栏将输出预测结果

    • 校验数据支持两种输入方式,直接输入文本或上传txt格式文本,文本长度上限为512汉字
    • 在识别结果栏中,可进行阈值的调整。置信度在阈值以下的预测结果将不予显示。例如,阈值调整为0.85时,置信度小于85%的预测结果将不予显示。当positive与negative两类标签的置信度均小于85%时,识别结果栏将显示为:“没有满足条件的识别结果”
  4. 若您对预测结果满意,可点击「申请上线」,进行模型的发布
上一篇
发起训练
下一篇
效果优化