开放能力
开发平台
行业应用
生态合作
开发与教学
资讯 社区 控制台
SOTA级发丝抠图模型PP-Matting重磅开源,支持多场景精细化分割!
发布日期:2022-05-09 03:23浏览量:129次
你还在用P.S.等商业软件,滑着鼠标,一点点勾勒图像边缘完成抠图嘛?有些大神可能会说:我可以用蒙板、通道等等高端操作实现超快抠图!但如果能有一个软件可以实现智能全自动抠图,完美保留发丝、树叶等精细边缘,还完全免费,甚至代码全部开源——它不香嘛?
 

图片 图片

图片

图1 Matting效果展示

 

这绝对不是画饼,近期一项被称为Matting的算法可算是火爆了AI界,相比于单纯的图像分割技术,它可以根据透明度更进一步的对图像的像素进行分类(如下图),不仅图像中的主体目标被精准抠出,连超精细的毛绒边缘和透明玻璃杯都可以完美抠出!传统的图像分割抠图策略是完全不可达到的,懂行的人看到这里是不是已经激动地汗毛直立了?

 

图2 Matting原理说明
小编赶紧给大家贴上项目链接地址
点击文末阅读原文即可GET
墙裂推荐小伙伴们star收藏!
https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.5/Matting
 
本项目是PaddleSeg团队推出的高性能PP-Matting系列模型,它根据用户对图像分辨率的需求,提供最相匹配的模型,精度上能够在Trimap Free方向达到SOTA级别。此外,本项目还充分考虑了实际部署环境,针对边缘端、服务端等对模型体积等指标进行相应优化。
 
不仅如此,PaddleSeg团队还特别针对人像进行特殊优化处理,提供了不同场景下的预训练模型及部署模型,既可直接部署使用,也可根据具体任务进行微调,简直贴心到家!

 

图3 PP-Matting 算法精度说明
 
PP-Matting已经被开发者们广泛应用在各种场景中,如有爱的萌宠开发者小伙伴们已经实现了”猫像抠图”,给自己可爱的小猫咪DIY了各种酷炫写真。

 

图4 “猫像抠图”示例
此外,有开发者基于Matting模型,开发了一键上传图片进行抠图的Web Demo,同样欢迎大家在PaddleSeg的github页面访问使用。链接如下:
https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.5/Matting

 

图片

图5 Web端Matting示例
当然,看到这么好的技术,硬核的小伙伴会关注技术上的实现。一般来说,基于深度学习的Matting分为两大类:
  • 一种是基于辅助信息输入。即除了原图和标注图像外,还需要输入其他的信息辅助预测,如Trimap、背景、交互点等作为辅助信息。

  • 一种是不依赖任何辅助信息,直接实现Alpha预测。

 

图6 Matting原理说明
 
而PP-Matting设计的初衷,就是为了能够方便用户快速实现抠图,因此用户在使用时不依赖辅助信息的输入,便可直接获得预测的结果。为了实现更高的效果,PP-Matting设计了Semantic context branch (SCB)、high-resolution detail branch (HRDB)两个分支,分别进行语义和细节预测,通过引导流机制,进行语义引导下的高分辨率细节预测,进而实现Trimap-free高精度图像抠图。

 

图7 PP-Matting原理示意图
 
正是由于这一系列的设计,最终让PP-Mattig在不依靠其他输入的情况下,依旧获得了更高精度的预测结果。
 
欢迎感兴趣的小伙伴们
扫码加入技术交流群
一起体验Matting的技术魅力
 

 

图像集引用说明:

图1、图2源于公开数据集:Distinctions-646

图4源于免费版权图片库https://www.pexels.com/zh-cn/

技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术
AR与VR
数据智能
场景方案
部署方案
行业应用
智能教育
智能医疗
智能零售
智能工业
企业服务
智能政务
信息服务
智能园区