资讯 社区 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

多人标注

目录

  1. 什么是多人标注
  2. 我发起的任务
  3. 查看多人标注任务
  4. 我接收的任务
  5. 标注团队管理

什么是多人标注

本平台引入全新多人标注机制,支持标注、审核、验收等多类角色,以多人团队协作形式提升数据标注效率。

登录到本平台,在左侧功能列数据标注中选择多人标注,进入多人标注的主任务界面。

image.png

我发起的任务

在数据标注-多人标注-我发起的任务页面中,选择“创建任务”

image.png

基本信息

填写任务名称,选择需要标注的数据集

image.png

需注意:智能标注/多人标注/清洗/共享/导入导出中数据集不可选

  • 若需要标注的数据集未导入平台,可以点击“创建数据集”,跳转到数据集管理-创建数据集,相关的操作指南详见创建数据集
  • 标注任务样例是给标注队员和审核人员(如有)提供的标注模板,此模板由用户自定义,非必填项,但当前仅支持pdf格式内容。
  • 数据标注状态会根据选择的数据集标注状态自动填写。

任务分配

选择标注团队,平台按需要标注的数据量和团队人数平均分配标注任务,填写以下内容。

image.png

如果没有标注团队,您也可以创建子用户,并参考用户文档分配权限,关于管理团队可查看以下标注团队管理内容

  • 若需要审核,请选择审核团队及抽检比例,团队每人审核数量根据审核总任务平均分配,需要填写以下信息,其中抽检比例可以设置审核团队抽样检查的比例数量。

image.png

如果没有审核团队,您也可以创建子用户,并参考用户文档分配权限,关于管理团队可查看以下标注团队管理内容

  • 若标注完的数据集选择生成新版本,则默认成为原有数据集的新版本

image.png

填写完上述选项后,点击“确定”即可创建多人标注任务。

查看多人标注任务

当您创建完成多人标注需求后,可在此功能模块下查看到新建和历史的需求创建任务。

image.png

标注信息

点击操作列的“详情”,可以查看任务的标注信息

image.png

查看标注进度

当任务状态为“待标注”、“标注/审核中”、“标注完成”或“标注完成(所有子任务已提交)”,可以通过操作列查看标注进度。

image.png

停止标注

当任务状态为“待标注”、“标注中”或“标注/审核中”,可以通过操作列中止标注任务,并选择之前已标注的内容是否生效。

image.png

标注任务终止后,所有成员不可再进入标注页面

验收任务

当任务状态为“标注完成(所有子任务已提交)”或“已终止(保留数据)”,可以通过操作列点击“验收任务”,对标注设置验收“通过”或“不通过”。

image.png

  • 修改验收结果:重新对该条标注进行验收
  • 剩余验收通过:一键通过所有标注
  • 任务打回:可以将未验收的数据/验收不通过的数据/未验收+验收不通过的数据返回给标注者
  • 验收完成:可以选择保存全部数据或仅保存验收通过的数据,验收完成后任务就会结束,不能再进行操作

查看数据集

当任务状态为“验收已完成”,可以通过操作列查看数据集,页面会转跳到数据集管理-数据集详情

image.png

删除任务

可以通过操作列删除多人标注任务。

image.png

删除后,已标注完内容将在标注完数据集版本查看,正在标注中的内容有丢失风险。

我接收的任务

在数据标注-多人标注-我接收的任务页面中,团队成员可以查看自己的标注/审核任务的进度和状态等。

image.png

标注任务

在任务操作列点击“启动标注”即可开始标注任务

image.png

标注成员可以选择输入或自动生成回答内容,成功标注后点击右上角的“保存标注”
完成标注任务后点击右上方蓝色的“提交任务”,任务提交后不可再进行标注

审核任务

在任务操作列点击“去审核”即可开始审核任务

image.png

审核人可以选择“通过”或者“不通过”,不通过的标注可以增加审核意见返回给标注者
完成标注任务后点击右上方蓝色的“提交任务”即可

标注团队管理

在数据标注-多人标注-标注团队管理页面中,可以进行创建团队、编辑团队等操作

image.png

创建团队

点击当前页面下的“创建团队”,进行标注/审核团队的创建。

image.png

一个团队中至少需要1名成员,最多添加20名成员
团队成员的状态可以为:启用、停用和删除。
填写完相关信息后,点击“确定”保存团队。

修改团队信息

在操作列可以点击“编辑”对团队进行修改。

image.png

可以通过编辑修改团队名称,添加或删除团队成员等
完成修改后,点击“确定”保存团队

删除团队

在操作列点击“删除”可以删除团队

image.png

该操作会将团队彻底删除且不可恢复

上一篇
在线标注
下一篇
众测标注