最近，抖音(抖音)特效又出了新的爆款。轻轻挥手，用户就能从发型到着装，精确地变身细节。(这是一个伟大的时代。)(另一个时代。)(另一个时代。)(另一个时代。)
几乎一夜之间，抖音满屏二次元化。在这个世界，你能抓到被全网催交舞蹈作业的宁静▽
也能看到充满清新气质的PDD▽
陈赫拿出神似苍蝇拍的“神秘钥匙”解除二次元封印▽
邓紫棋擦玻璃换脸▽
张艺兴来一段 rap 的功夫，已经不知道用手势在次元之间穿梭了多少回了▽
从路人到顶流明星，人均get一双水汪汪的大眼睛。除了，“连特效都拯救不了”的李荣浩▽
进入二次元后，明星们的发型、五官等细节“神还原”，同时还多了一丝俏皮灵动。全网都爱的变身漫画特效是如何诞生的？背后又有哪些行业领先的“黑科技”？
突破「次元壁」的关键技术
打破二次元和三次元的关键技术，就是GAN （对抗生成网络）。
所谓的GAN就是指生成对抗网络深度学习模型。网络中有生成器G（generator）和鉴别器（Discriminator）。有两个数据域分别为X,Y。G 负责把X域中的数据拿过来拼命地模仿成真实数据并把它们藏在真实数据中，而 D 就拼命地要把伪造数据和真实数据分开。经过二者的博弈以后，G 的伪造技术越来越厉害，D 的鉴别技术也越来越厉害。直到 D 再也分不出数据是真实的还是 G 生成的数据的时候，这个对抗的过程达到一个动态的平衡。
这项研究利用到的技术叫做Landmark Assisted CycleGAN，它利用面部标志特征来定义一致性损失，指导在CycleGAN中训练局部鉴别器。
CycleGAN本质上是两个镜像对称的GAN，构成了一个环形网络。两个GAN共享两个生成器，并各自带一个判别器，即共有两个判别器和两个生成器。一个单向GAN两个loss，两个即共四个loss。
可以实现无配对的两个图片集的训练是CycleGAN与Pixel2Pixel相比的一个典型优点。但是我们仍然需要通过训练创建这个映射来确保输入图像和生成图像间存在有意义的关联，即输入输出共享一些特征。
整体结构如下：
整体来说，这个转换过程分为3步：
首先，生成器先根据CycleGAN生成一张粗糙的卡通人脸。
随后，模型根据第一步生成的图像，生成一个预训练回归量（regressor），来预测面部landmark，对面部的关键点进行标记。
最后，通过局部和全局两种鉴别器，研究人员细化在卡通图和对应真实图像中的人脸特征。在这个阶段，强调了landmark的一致性，因此最后的生成生成结果逼真且有辨识度。
虽然，抖音这次推出的漫画变身特效主要技术也还是GAN，但与以往相比也有差异之处。此前，变漫画功能基本都基于人脸表情跟踪，学界和工业界都没有千人千面的实时漫画生成方法。
这次抖音推出的漫画特效是在视频中实时实现的，这项技术在全球也是首次落地。在视频中，可实现人脸和头发变漫画的效果，配合背景风格迁移技术，完成全屏漫画的实时生成，并且通过“手动滑杆”道具，能与真实视频随意切换。
早期（上）与终版（下）风格对比
漫画特效定义了精致美和极致像两大特点。既要全面保留用户特征、像本人，又要生成出漫画独有的艺术美感。经过抖音团队广泛的风格设计、调研和修改，终于锁定了一款高萌可爱的漫画脸。引入算法后，进入了更加追求细致的打磨期。
图片版效果达标后，团队决定小试牛刀，阶段性在抖音、TikTok的影集模块上线「漫画奥义」道具，在中国、日本、巴西、印尼等多国取得了不错的反响。
让二次元走进现实
除了抖音最近火爆的「变身漫画」特效外，隔壁岛国的一项「3D姿态追踪」也火了。可以让漫画人物跟随着你的动作，一起翩翩起舞，仿佛二次元人物走进了现实。
利用「真人模型」也是可以的。
这样一来，和你心仪的二次元对象，在现实中共舞便不再是梦！若是把明星作为模型输入的一部分，是不是也可以跟偶像共舞了？咦？好像可以预见娱乐平台的下一个爆款特效了。
