资讯 社区 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

清洗任务管理

在这里对数据集中的图片进行去模糊、去近似、旋转、镜像等多种清洗,以及过滤无人脸图片、过滤无人体图片等高级清洗服务,提升数据质量,方便进行下一步的数据标注等操作。

新建清洗任务

  1. 选择数据集版本

选择清洗前后数据集名称及版本时,该数据集版本如果正被用于导入、智能标注、训练、清洗本身、label集图片的删除与更新则不可被选定。

为保证清洗任务顺利进行: 当您的清洗前后数据集版本为两个数据集时,两个数据集版本均会为您保留; 请确保清洗前数据版本中图片个数少于50000张,如您有大规模数据清洗需求,建议通过拆分数据集完成。

image.png

  1. 选择清洗方式

选择清洗方式时,有通用与高级清洗方案两种: 如您选择通用清洗方案,同一数据集版本最多可添加三种通用清洗方式; 如您选择高级清洗方案,同一数据集版本最多可添加一种高级清洗方式; 通用与高级方案不可同时选择。

image.png

  1. 具体清洗方式介绍如下:
  • 去近似

根据示例中参考图片,通过拖拽圆点选取对应相似度取值,只会保存相似度高于此值的图片 image.png

  • 去模糊

根据示例中参考图片,通过拖拽圆点选取对应清晰度取值,只会保存清晰度高于此值的图片 image.png

  • 裁剪

在随机图片中通过拖拽裁剪框边缘各点调节框大小,最终针对所有图片只保留框选出区域 image.png

  • 旋转

根据示例中参考图片,通过下拉框选择不同的顺时针旋转角度,最终针对所有图片做旋转操作 image.png

  • 镜像

水平镜像是指将图像的左右部分以图像垂直中轴线为中心进行镜像对换;垂直镜像是指将图像的上下两部分以图像水平中轴线为中心进行镜像对换;中心镜像是指将图像以图像水平中轴线和垂直中轴线的交点为中心进行镜像对换,相当于将图像先后进行水平镜像、垂直镜像。

根据示例中参考图片,通过下拉框选择不同的镜像方式,最终针对所有图片做对应镜像操作 image.png

  • 过滤无人脸图片

该服务帮助您从清洗前数据集版本中过滤出无人脸图片,过滤机制为通过调用百度AI开放平台提供的人脸检测服务完成高级清洗。

当您的清洗前数据集版本暂无标注类型时,选择人脸检测服务则默认清洗后数据集版本类型为检测;当您的清洗前数据集版本有标注类型时,需保证该标注类型为物体检测。

使用清洗服务的前置条件需您在百度AI开放平台开通该服务,创建您的APP ID,根据业务需求实现服务调用,具体步骤分为两步:

第一步,https://ai.baidu.com/tech/face/detect 去往人脸检测服务落地页点击【立即使用】,完成服务开通、创建APPID后,您可以免费试用该服务,人脸检测服务当前的免费机制为当日不限调用总量,QPS限制为2;

第二步,如您希望配额升级,点击【申请配额升级】完成付费购买。 image.png

使用清洗服务时,需注意保证您的单图中人脸个数不要超过10张;您可以选择将人脸画框位置信息是否保存至清洗后数据集版本,若选择,则在您的清洗后数据集版本中新建一个为face的标签。

image.png

  • 过滤无人体图片

该服务帮助您从清洗前数据集版本中过滤出无人体图片,过滤机制为通过调用百度AI开放平台提供的人体检测或人像分割服务完成高级清洗。

建议:当前过滤无人体图片服务的解决场景主要聚焦在视频监控领域,因此,针对实拍场景数据的清洗效果明显优于网图。

当您的清洗前数据集版本暂无标注类型时,选择检测服务则默认清洗后数据集版本标注类型为检测,选择分割服务则默认清洗后数据集版本标注类型为分割;当您的清洗前数据集版本标注模板为图像分割时,默认为您选择图像分割服务,标注模板为非图像分割时,默认为您选择人体检测服务。

使用清洗服务的前置条件需您在百度AI开放平台开通该服务,创建您的APP ID,根据业务需求实现服务调用,具体步骤分为两步:

第一步,去往对应服务落地页点击【立即使用】,完成服务开通、创建APPID后,您可以免费试用该服务,服务当前的免费机制为当日免费调用50000次,QPS限制为2;

第二步,如您希望配额升级,点击【申请配额升级】完成付费购买。

您可以选择将人脸画框位置信息是否保存至清洗后数据集版本,若选择,则在您的清洗后数据集版本中新建一个为body的标签。

管理清洗任务

  1. 任务概览

通过列表页展示任务如下字段:任务序号、清洗方式、清洗前后数据集版本、清洗状态、操作 image.png

  1. 查看详情

点击查看任务详情可看到任务开始与完成时间、提交数据量、清洗方式、清洗结果(点击可跳转至清洗后数据集版本详情页) image.png

  1. 其他情况

当您选择了清洗服务后,会存在清洗结果为零的情况(例如,过滤无人脸服务完成过滤后发现清洗后数据集版本中有效数据为零),在这种情况下,您将无法查看清洗结果。

当您选择了高级清洗服务后,如您的服务欠费导致清洗服务终止,这是在任务详情页将显示服务欠费,您可以前往对应服务落地页完成续费复用后在清洗任务列表页选择【继续清洗】。

上一篇
数据采集
下一篇
文本数据清洗