春节期间《你好李焕英》电影以42亿票房,火遍全球,赚足了我们的眼泪。各位宝宝们都默默在心里保证:我一定要听妈妈的话两天,哦不,一周。
《你好,李焕英》也同样触碰了 B 站知名 Up 主,独立艺术家——大谷 Spitzer 内心最柔软的部分,并应用飞桨 PaddleGAN 的能力,修复了李焕英年轻时的黑白照片,不仅为照片上色、提高了分辨率,还让静态的人物,从照片里“动起来“!
聪明的开发者们当然不止步于感动流泪,一定要挽起袖子自己动手尝试一下!那么小编这里就为大家详细解析下这个具体的实现过程。
DeOldify 是一种效果卓越的,可以将黑白的影像自动填充上色的深度学习算法,它是采用自注意力机制的生成对抗网络。生成器是一个 U-NET 结构的网络。在图像的上色方面有着较好的效果。
2.分辨率提升算法:EDVR
这一步就是将低分辨率的图片的分辨率提高,使影像的清晰度及细腻度增强。
PaddleGAN 支持 EDVR 模型来进行分辨率提升,它提出了一个新颖的视频具有增强可变形卷积的还原框架:第一,为了处理大动作而设计的一个金字塔,级联和可变形(PCD)对齐模块,使用可变形卷积以从粗到精的方式在特征级别完成对齐;第二,提出时空注意力机制(TSA)融合模块,在时间和空间上都融合了注意机制,用以增强复原的功能。对视频的分辨率提升有很好的效果。
3.脸部动作迁移算法:First Order Motion
First Order Motion model 的任务是给定一张静态的源图片,以及一个对应的带有面部表情的驱动视频,生成一段新的视频。在这个新的视频中,主角是源静态图片中的任务,而面部表情动作是驱动视频中人物的表情。First Order Motion 也可以驱动人体的动作,原理是相同的,通常情况下,我们需要对源人物进行人脸关键点标注、进行表情迁移的模型训练。
而 PaddleGAN 作为百度飞桨产品矩阵中重要的一个模块,力争为开发提供生成对抗网络方向的强大工具集,不仅提供经典及前沿的生成对抗网络高性能实现,还支撑开发者快速构建、训练及部署生成对抗网络。除了上面我们说的上色、分辨率提升、脸部动作迁移之外,还提供例如:
▲ AI 换脸
▲ 人脸生成
▲ 图像变化
▲ 图像生成
这么有趣又有用的技术方向,你是否已经迫不及待,准备 “大 GAN 一场”呢?赶紧前往项目地址尝试动手开发吧!
也可以扫描一下微信二维码加入 PaddleGAN 微信讨论群,与飞桨官方开发者或者社区里志同道合的小伙伴一同交流吧!
如果您想详细了解更多飞桨的相关内容,请参阅以下文档。
GitHub: https://github.com/PaddlePaddle/Paddle
Gitee: https://gitee.com/paddlepaddle/Paddle