澳门威斯尼人平台还能给花草,手把手教你在TensorFlow2

原标题:视频换脸新境界:CMU不仅给人类变脸,还能给花草、天气变脸 | ECCV
2018

铜灵 发自 凹非寺

允中 发自 凹非寺

圆栗子 发自 凹非寺

量子位 出品| 公众号 QbitAI

量子位编辑 | 公众号 QbitAI

澳门威斯尼人平台 1

CycleGAN,一个可以将一张图像的特征迁移到另一张图像的酷算法,此前可以完成马变斑马、冬天变夏天、苹果变桔子等一颗赛艇的效果。

前几天发布的一篇文章中我们曾提到国外的AI捏脸应用FaceApp引发大量关注。它能让人一键变成老人,一键返老还童,一键由男变女,一键破涕为笑,一键失去头发……

把一段视频里的面部动作,移植到另一段视频的主角脸上。

澳门威斯尼人平台 2

福布斯报道说,它在Google Play的下载量已经超过了1亿。

大家可能已经习惯这样的操作了。

澳门威斯尼人平台,这行被顶会ICCV收录的研究自提出后,就为图形学等领域的技术人员所用,甚至还成为不少艺术家用来创作的工具。

苹果用户也同样热情,App
Annie数据显示,目前在121个国家的iOS商店排名第一。

澳门威斯尼人平台 3

澳门威斯尼人平台 4

看起来,这是一种神奇的黑科技,但是实际上,揭开神秘的面纱,技术本身并非遥不可及。从GAN的角度来探索解决这类问题,能做到什么样呢?

就算目标主角并不是人类,大概也算不上精彩。眼睛鼻子嘴,至少零件齐全

也是目前大火的“换脸”技术的老前辈了。

现在,飞桨核心框架Paddle Fluid
v1.5宣布开源了PaddleGAN图像生成库,为用户提供易上手的、一键式可运行的GAN模型。

那么,怎样的迁移才可走出这个框框,让这个星球上的万物,都有机会领取视频改造的恩泽?

澳门威斯尼人平台 5

飞桨(PaddlePaddle)致力于让深度学习技术的创新与应用更简单。生成式对抗网络近年来被广泛应用于无监督学习任务以及生成任务中,通过让两个神经网络相互博弈的方法进行学习,常用于生成以假乱真的图片、影片、三维物体模型等。欢迎大家来体验~

澳门威斯尼人平台 6

如果你还没学会这项厉害的研究,那这次一定要抓紧上车了。

下面送上真·干货!

按着你想要的节奏开花:中老年表情包利器

现在,TensorFlow开始手把手教你,在TensorFlow 2.0中CycleGAN实现大法。

1.效果实测

来自卡耐基梅隆大学的团队,开发了自动变身技巧,不论是花花草草,还是万千气象,都能自如转换。

这个官方教程贴几天内收获了满满人气,获得了Google
AI工程师、哥伦比亚大学数据科学研究所Josh Gordon的推荐,推特上已近600赞。

以下效果均采用百度与哈工大联合开发的STGAN模型在飞桨开源的实现

澳门威斯尼人平台 7

澳门威斯尼人平台 8

澳门威斯尼人平台 9

云,也变得急切了

有国外网友称赞太棒,表示很高兴看到TensorFlow
2.0教程中涵盖了最先进的模型。

澳门威斯尼人平台 10

或许是怀着超越大前辈Cycle-GAN(来自朱俊彦团队)
的意味,团队给自家的GAN起了个非常环保的名字,叫Recycle-GAN

这份教程全面详细,想学CycleGAN不能错过这个:

看到标签是“Bald”的变脸照片,是不是很多读者感受到了一种来自骨髓的凉意,大家多保重!

这位选手,入选了ECCV 2018

详细内容

  1. PaddleGAN支持的模型与任务

Recycle之道,时间知道

在TensorFlow 2.0中实现CycleGAN,只要7个步骤就可以了。

PaddleGAN图像生成模型库覆盖当前主流的GAN算法,可简单上手各类GAN任务,也方便扩展自己的研究。

Recycle-GAN,是一只无监督学习的AI。

1、设置输入Pipeline

Pix2Pix和CycleGAN采用cityscapes数据集进行风格转换,StarGAN,AttGAN和STGAN采用celeba数据集对图片进行局部或者整体的属性修改。

不成对的二维图像数据,来训练视频重定向(Video Retargeting)
并不容易:

安装tensorflow_examples包,用于导入生成器和鉴别器。

STGAN是由百度和哈工大联合研发的模型,提出STGAN方法用于图片/视频的端到端属性转换。对传统方法提出了两点改进,在celebA数据集上转换效果好于已有的方法:

一是,如果没有成对数据,那在视频变身的优化上,给的限制就不够,容易产生不良局部极小值
(Bad Local Minima) 而影响生成效果。

!pip install -q git+

在自编码网络结构中引入选择性属性编辑单元强化了属性编辑的效果。

二是,只依靠二维图像的空间信息,要学习视频的风格就很困难。

2、输入pipeline

提出了将基于属性标签替换为基于属性更改的训练机制。

澳门威斯尼人平台 11

在这个教程中,我们主要学习马到斑马的图像转换,如果想寻找类似的数据集,可以前往:

  1. 预训练模型

你开花,我就开花

本次PaddleGAN总共开源5个预训练模型。安装好飞桨环境后,可以下载预训练模型快速验证推理效果。

针对这两个问题,CMU团队提出的方法,是利用时间信息(Temporal
Information) 来施加更多的限制,不良局部极小值的现象会减少。

在CycleGAN论文中也提到,将随机抖动和镜像应用到训练集中,这是避免过度拟合的图像增强技术。

每个GAN都给出了一份测试示例,放在scripts文件夹内,用户可以直接运行测试脚本得到测试结果。

另外,时间、空间信息的搭配食用,也能让AI更好地学到视频的风格特征

和在Pix2Pix中的操作类似,在随机抖动中吗,图像大小被调整成286×286,然后随机裁剪为256×256。

执行以下命令得到CyleGAN的预测结果:

澳门威斯尼人平台 12

在随机镜像中吗,图像随机水平翻转,即从左到右进行翻转。

执行以下命令得到Pix2Pix的预测结果:

时间信息:进度条撑不住了 (误)

澳门威斯尼人平台 13

执行以下命令得到StarGAN,AttGAN或者STGAN的预测结果:

重要的是,视频里的时间信息唾手可得,无需寻觅。

澳门威斯尼人平台 14

澳门威斯尼人平台 15

然后,看一下Recycle-GAN,是怎样在两段视频的图像之间,建立映射的。

3、导入并重新使用Pix2Pix模型

澳门威斯尼人平台 16

相关文章