查看与管理人工评估任务

目录

1. 查看人工评估任务详情
2. 查看评估报告
3. 导出模型结果
4. 查看任务日志

对生成式大模型的输出效果、计算性能进行全方位评价，提供面向事实类或开放性问答的不同打分模式；当前支持文本类生成模型，暂不支持图像或跨模态生成模型。

登录到本平台，在左侧功能列选择模型评估，进入人工评估主任务界面。

查看人工评估任务详情

您可以通过点击任务名称查看评估任务的详细内容。

当创建的任务的状态为“待评估”时，需要您点击操作列的"在线评估"进行标注，详细标注操作可查看数据标注相关操作。

当评估任务状态为“已完成”时，您可点击操作列的“查看评估详情”按钮，查看具体的人工评估内容。已完成人工评估的结果集不支持任何编辑操作。

查看评估报告

当评估任务状态为“已完成”时，您可点击操作列的“查看评估报告”按钮，查看详细的评估信息。

人工打分指标

评估报告

该页面展示创建评估任务时的评估维度结果的可视化分布，包括评估任务的整体指标和详细指标等内容。

评估详情

在评估详情列表页，您可以选择每条评估数据操作列的查看按钮，展示为您提交【在线评估】时所填写的对大模型的主观感受。

导出模型结果

需要您打开模型详情页，模型结果分析支持筛选和导出。为避免对页面性能造成影响，每个模型最多展示2000条模型结果分析内容。导出时点击左上角按钮，在浮窗中配置导出位置『本地』或『BOS存储』（需提前开通BOS相关服务 ）。

自定义选择导出字段：

右上角操作记录中支持查看用户对模型结果分析导出记录，查看导出任务状态、并对错例数据进行下载、查看。

查看任务日志

平台支持查看本次模型评估任务的详细日志。选择评估的模型后，可以查看其从创建开始到任务结束的日志内容，支持下载到本地保存（txt格式）。

以下为部分日志展示：

可通过日志查看报错，调整任务配置重新发起；或在提交工单时，粘贴日志中的报错由百度技术服务团队协助排查。