//点击阅读原文一键GET//
项目详解
如何把大象放进冰箱里?对不起,走错片场了。使用普通录像设备,视频如何像电影大片一样绿幕抠图,只需要三步。
AI Studio上的项目地址:
STEP2:上传素材
STEP3:执行
安装相关包, ipywidgets安装好之后若继续报错则要重启内核
1!pip install av tqdm pims ipywidgets
下面是见证奇迹的时刻!
import paddle
from model import MattingNetwork
from inference import convert_video
model = MattingNetwork('resnet50')
model.set_state_dict(paddle.load("rvm_resnet50.pdparams"))
convert_video(model,
input_source='dance.mp4',
output_type='video',
output_composition='com.mp4',
output_alpha="pha.mp4",
output_foreground="fgr.mp4",
output_video_mbps=4,
downsample_ratio=None,
seq_chunk=1)
参数注解
-model: 模型
-input_source='dance.mp4': 视频文件,或图片序列文件夹
-output_type='video': 可选 "video"(视频)或 "png_sequence"(PNG 序列)
-output_composition='com.mp4': 若导出视频,提供文件路径。若导出 PNG 序列,提供文件夹路径
-output_alpha="pha.mp4":[可选项] 输出透明度预测
-output_foreground="fgr.mp4":[可选项] 输出前景预测
-output_video_mbps=4: 若导出视频,提供视频码率
-downsample_ratio=None: 下采样比,可根据具体视频调节,或 None 选择自动
-seq_chunk=1: 设置多帧并行计算
项目简介
RVM(Robust High-Resolution Video Matting with Temporal Guidance)
又叫稳定视频抠像,不同于现有神经网络将每一帧作为单独图片处理,RVM 使用循环神经网络,在处理视频流时有时间记忆。RVM 可在任意视频上做实时高清抠像。在 Nvidia GTX 1080Ti 上实现 4K 76FPS 和 HD 104FPS。
项目特点
效果非常好。就像前面视频里展示的一样,抠图效果惊人,头发丝都能抠出来,让人以为视频是绿幕前拍出来。
不需要任何辅助输入。也有一些非常棒的抠图论文,但是大部分包括本论文作者的前作,都需要辅助输入,比如一张背景图。那样拍片的时候,除了拍演员,还要在同一地点同一机位单独拍一遍背景,这么麻烦想想还不如上绿幕方便呢。所以不需要任何辅助输入,实在太贴心了!
使用简单方便。没有技术门槛,不需要任何技术背景,人人都可以过把瘾。尤其是在AI Studio项目里,只要动动手上传视频,一键转换,然后下载即可。
抠像效果提升小技巧
光照良好,背景比较简单的视频,处理效果会较好。
针对视频清晰度大小和画面中人物是全身还是半身等,可以按照如下表格设定downsample_ratio参数,根据视频内容进行调节,以提高抠像效果。
模型在内部将高分辨率输入缩小做初步的处理,然后再放大做细分处理。
建议设置downsample_ratio使缩小后的分辨率维持在 256 到 512 像素之间. 例如,1920x1080的输入用downsample_ratio=0.25,缩小后的分辨率480x270在 256 到 512 像素之间。
根据视频内容调整downsample_ratio。
若视频是上身人像,低downsample_ratio足矣。若视频是全身像,建议尝试更高的downsample_ratio。但注意,过高的downsample_ratio反而会降低效果。
RVM飞桨代码版本实现
Github地址:
Gitee地址:
感兴趣的朋友可以直接看源代码。因能力和时间有限,目前还没有复现训练代码,有兴趣的朋友可以一起来实现啊!
结束语
让我们荡起双桨,在AI的海洋乘风破浪!
飞桨官网:
https://www.paddlepaddle.org.cn
github官方地址:
https://github.com/PeterL1n/RobustVideoMatting
论文效果B站展示:
https://www.bilibili.com/video/BV1Z3411B7g7/
参考文献
[1]Lin S , Yang L , Sal Ee Mi I , et al. Robust High-Resolution Video Matting withTemporal Guidance[J]. 2021.