资讯 社区 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

15. 电路板漏焊检测

项目说明

业务背景

质量检测作为生产制造中最关键的环节,在传统流程中,主要通过人工进行产品质量检查、产品分拣,但人工检测有延时和误差,还存在个体与个体间的差异,一定程度上会影响质检的准确性。在任务重时,检查效率低,审核质量不稳定出现的概率会增加,例如存在检查员视力疲劳等因素,很多产品的微小瑕疵并不能被高效识别。

业务难点

人工质检人力成本高,人员难培养,离职率高。因工资低、工作枯燥,愿意从事人工质检的工人愈来愈少。客户希望利用AI+视觉技术实现产品的缺陷识别及缺陷分类,实现产品的外观表面细粒度质量检测,提升质检质量和效率。

解决思路

由于客户自身AI开发能力单薄,通用的检测模型也无法满足客户需求,在结合自身业务情况与预算的情况下,经过技术调研,客户最终选择使用EasyDL图像分割任务自研模型,并集成到自身检测分拣设备中。

image.png

提示:由于筷子表面缺陷特征较小且形状各异,为了获得更精度的模型,推荐使用图像分割-语义分割,达到像素级的检测。

数据准备

数据采集

选取出实际作业场景中筷子颜色文理各异、不同缺陷类型组合图片作为训练数据,训练数据覆盖的场景越多,模型的泛化能力越强,训练数据与实际情况越贴近,模型效果越好。 image.png

image.png

image.png

数据导入

EasyDL支持通过以图片、压缩包、和API的形式将本地数据导入至EasyDL里创建的数据集中,也可通过百度云BOS 、以及分享链接将平台内已有的数据集导入目标数据集。针对数据量较大的场景,推荐使用API形式进行导入。

image.png

数据标注

EasyDL提供了单人标注、多人标注、智能标注三种标注方式。使用多人标注功能可通过团队协作方式,提高数据标注效率。任务发起后,系统会生成任务链接发送至团队成员邮箱,并根据团队成员数自动分发任务量,标注成员提交任务后,管理员可以进行标注结果校验。使用智能标注,可以通过提供少量人工标注数据和未标注数据,通过智能标注能力进行自动标注,或使用现有的模型对新增的数据进行预标注,辅助您快速完成数据标注工作,并将数据用于模型的训练。标注出图片中需要检测缺陷并通过添加标签对该类型缺陷进行定义。

image.png

image.png

模型训练

数据准备工作完成后,选择物体检测任务类型,点击创建模型,根据您的实际需求对模型进行命名。 由于流水线上的缺陷检测对检测效率有一定要求,同时需要将AI检测模型部署到智能分拣器的控制器(IPC)上进行使用,创建训练时部署方式、部署设备和算法类型就可分别选择「EasyEdge本地部署」、「通用小型设备」和「高性能」。

image.png

部署方式和算法类型通常需要结合实际业务需求选择,EasyDL提供了多种精度、性能侧重点不同的算法供选择,侧重精度的算法拥有更好的识别效果,但对算力的消耗也越大。侧重性能算法相对高精度算法模型精度会所降低,但模型体积更小,拥有毫秒级响应的性能,适用于对性能有要求的场景。 如若需要使用私有化/离线部署,EasyDL提供了从服务器到通用小型设备、边缘终端(EdgeBoard、Jetson)等部署方式。 公有云部署:训练完成的模型存储在云端,可通过独立Rest API调用模型,实现AI能力与业务系统或硬件设备整合具有完善的鉴权、流控等安全机制,GPU集群稳定承载高并发请求。 私有服务器部署:将训练完成的模型部署在私有CPU/GPU服务器上,支持私有API和服务器端SDK两种集成方式,可在内网/无网环境下使用模型,确保数据隐私。 设备端SDK部署:训练完成的模型被打包成适配智能硬件(不含服务器)的SDK,可进行设备端离线计算。满足推理阶段数据敏感性要求、更快的响应速度要求(支持iOS、Android、Linux、Windows四种操作系统)。

image.png

模型部署

当对训练后的模型效果满意时,进入「发布模型」功能,选择所需发布的模型和版本,填写服务名称与接口名称等信息即可提交发布申请。完成申请提交后,点击在线服务,即通过审核的该条服务会展示在您的在线服务列表中,您可以点击服务详情,获取http地址,为保证您接口调用时的安全性、保密性,请您按照操作指引,前往控制台完成应用创建,即可获取对应的接口AK、SK,保证调用授权。

当对训练后的模型效果满意时,进入「EasyEdge本地部署-纯离线服务」中,选择模型中效果满意的版本与部署终端设备的系统与芯片,如有模型加速需求,可再选择对应模型加速选项,设置完成后即可将训练好的模型版本发布为可离线部署到对应终端设备中使用的SDK。 发布成功后,即可下载SDK配合对应的技术文档进行部署。

image.png

效果优化

随着业务场景中出现的新缺陷类型或由于光线、拍摄角度等原因,AI模型对缺陷的检测效果可能会出现下降。 此时建议周期性的将如出现之前未标注、训练的缺陷类型、检测效果不好的缺陷类型,增加图片数量,使用「增量训练」功能再对模型进行优化,提升AI模型在业务场景中的检测效果。

image.png