资讯 社区 文档
赚足眼泪的《李焕英》被“复活”啦!
发布日期:2021-03-01 12:42浏览量:854次
春节期间《你好李焕英》电影以42亿票房,火遍全球,赚足了我们的眼泪。各位宝宝们都默默在心里保证:我一定要听妈妈的话两天,哦不,一周。
《你好,李焕英》也同样触碰了 B 站知名 Up 主,独立艺术家——大谷 Spitzer 内心最柔软的部分,并应用飞桨 PaddleGAN 的能力,修复了李焕英年轻时的黑白照片,不仅为照片上色、提高了分辨率,还让静态的人物,从照片里“动起来“!
图片
聪明的开发者们当然不止步于感动流泪,一定要挽起袖子自己动手尝试一下!那么小编这里就为大家详细解析下这个具体的实现过程。
 过程中使用了 PaddleGAN 的相关算法 
 详解如下:
 1.黑白照片上色算法:DeOldify  
DeOldify 是一种效果卓越的,可以将黑白的影像自动填充上色的深度学习算法,它是采用自注意力机制的生成对抗网络。生成器是一个 U-NET 结构的网络。在图像的上色方面有着较好的效果。
图片

 2.分辨率提升算法:EDVR 

图片

这一步就是将低分辨率的图片的分辨率提高,使影像的清晰度及细腻度增强。

PaddleGAN 支持 EDVR 模型来进行分辨率提升,它提出了一个新颖的视频具有增强可变形卷积的还原框架:第一,为了处理大动作而设计的一个金字塔,级联和可变形(PCD)对齐模块,使用可变形卷积以从粗到精的方式在特征级别完成对齐;第二,提出时空注意力机制(TSA)融合模块,在时间和空间上都融合了注意机制,用以增强复原的功能。对视频的分辨率提升有很好的效果。

 3.脸部动作迁移算法:First Order Motion 

图片

First Order Motion model 的任务是给定一张静态的源图片,以及一个对应的带有面部表情的驱动视频,生成一段新的视频。在这个新的视频中,主角是源静态图片中的任务,而面部表情动作是驱动视频中人物的表情。First Order Motion 也可以驱动人体的动作,原理是相同的,通常情况下,我们需要对源人物进行人脸关键点标注、进行表情迁移的模型训练。
是不是已经迫不及待要去尝试一下了?
小编赶紧送上传送门
图片
↑↑↑长按上方二维码立即 Star ↑↑↑
支持 PaddleGAN
而 PaddleGAN 作为百度飞桨产品矩阵中重要的一个模块,力争为开发提供生成对抗网络方向的强大工具集,不仅提供经典及前沿的生成对抗网络高性能实现,还支撑开发者快速构建、训练及部署生成对抗网络。除了上面我们说的上色、分辨率提升、脸部动作迁移之外,还提供例如:

图片

▲ AI 换脸

图片

 人脸生成

图片

 图像变化

图片

 图像生成

这么有趣又有用的技术方向,你是否已经迫不及待,准备 “大 GAN 一场”呢?赶紧前往项目地址尝试动手开发吧!

也可以扫描一下微信二维码加入 PaddleGAN 微信讨论群,与飞桨官方开发者或者社区里志同道合的小伙伴一同交流吧!

图片

如果您想详细了解更多飞桨的相关内容,请参阅以下文档。

飞桨官网地址

https://www.paddlepaddle.org.cn/

飞桨开源框架项目地址

GitHub: https://github.com/PaddlePaddle/Paddle 

Gitee: https://gitee.com/paddlepaddle/Paddle

技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术