最近,抖音(抖音)特效又出了新的爆款。轻轻挥手,用户就能从发型到着装,精确地变身细节。(这是一个伟大的时代。)(另一个时代。)(另一个时代。)(另一个时代。)
几乎一夜之间,抖音满屏二次元化。在这个世界,你能抓到被全网催交舞蹈作业的宁静,
也能看到充满清新气质的PDD,
从路人到顶流明星,人均get一双水汪汪的大眼睛。除了,“连特效都拯救不了”的李荣浩——
一夜亿万曝光,道具上线3天获得了1000w+的视频投稿,贡献大量相关热门话题。
全网都爱的变身漫画特效是如何诞生的?背后又有哪些行业领先的“黑科技”?
字节君与抖音特效的幕后团队一起聊了聊,持续打造爆款特效的秘密。
爆款不是偶然
“作为行业首发的人脸实时动态漫画效果,我们早就觉得「变身漫画」会火。”来自影像团队,有多款抖音爆款特效项目经历的大彭说,近年来,真人照片处理、拼贴成某种绘制风格常玩常新,关键就是要给用户带来惊喜和共鸣。
2014年,脸萌凭借卡通五官、服饰匹配,登顶App Store
2018年,字节跳动专门成立影像团队,支持抖音火山轻颜等全系产品的打磨,其中包括长期探索真人风格化玩法,力图持续打造击中用户的特效。
在大彭看来,团队不设边界的灵感创意机制,让爆款的出现绝非偶然。“无论什么岗位,都不会只站在自己的视角积累爆款思路的弹药。每天影像团队都会抽一个小时搜集灵感,每周定期与其它合作的设计&研发团队开脑暴会,观察学习行业趋势和时下流行的时尚元素,了解最新技术进展。”
艺术遇上技术,很快碰撞出了新的火花。
2019年,轻颜出了本可爱风的手绘日历,项目同学发现,许多人都想把自己的照片一键变成类似画风。
此时研发同学在脑爆会提起,打破次元壁、让真实人脸变漫画的关键技术GAN (生成式对抗网络,Generative Adversarial Networks )刚实现,但还不足以精确地把真人变成人类绘画水平,让真人实时变成动画片,行业里更是没见过。
要不干脆出一款特效,让真人可以秒变漫画脸?
想法一出,立马激发了不同岗位同学的兴奋点。2019年9月,从影像团队的效果和产品同学,到协作支持的研发、设计,一个跨北上深及北美四地的专项小组迅速拉了起来。做实时漫画特效,定位就是爆款。
既“像”又“美”,千人千面漫画脸
“别看变身只要一秒,从创意提出到技术落地,背后我们琢磨了好久。” 参与漫画特效打造的产品同学玉辰说。
“教AI画画”,做出大家喜欢、技术上又可实现的设计风格很难,做到实时可预览级别更难。
刚开始,研发同学对能否做到“实时”没多大把握:“毕竟如此高质量且千人千面的实时效果,在学界和工业界都未有过先例,技术上还有众多难点需要突破。”
项目组商量决定,暂缓“实时”计划,先打磨极致图片效果。“我们定义了精致美和极致像两大特点。既要全面保留用户特征、像本人,又要生成出漫画独有的艺术美感。”玉辰说。
为了找到更能引起用户共鸣的绘画风格,从日漫、国漫到韩漫,团队几乎将主流的漫画和番剧看了个遍。
灵感收集时的参考风格
经过效果同学广泛的风格设计、调研和修改,团队终于锁定了一款高萌可爱的漫画脸。“我们的设计师都是公司主美级别的,经验丰富。”
早期(上)与终版(下)风格对比
引入算法后,团队进入了更加追求细致的打磨期。
“有一两个月吧,我们就是在不停训练新模型,每次可能跑出几百个普通人看不出啥差别的模型,然后让设计去挑最优效果。”研发同学感慨,如此高效和规模化的模型训练,背后得亏了公司强大算力基础的支持。“最多的时候,要用几百张显卡跑。”
大家调侃说,经此一役,团队各个练就了火眼,同学们的效果敏感度和审美都有了很大提升。
大彭印象深刻,有次选好一款很萌的模型准备放体验版,研发同学第二天做好后,有个效果同学盯着新版本看来看去,总觉得哪里变不好看了。“一问才发现研发放错了模型,眼睛稍小了几个百分点。”
图片版效果达标后,团队决定小试牛刀,阶段性在抖音、TikTok的影集模块上线「漫画奥义」道具,在中国、日本、巴西、印尼等多国取得了不错的反响。
全球首次实现手机端实时动态漫画处理
“实时”再次成为了摆在团队面前的关键挑战。
此前,变漫画功能基本都基于人脸表情跟踪,学界和工业界都没有千人千面的实时漫画生成方法。这次抖音推出的漫画特效是在视频中实时实现,该技术可谓全球首发。
“我们都明白,一旦实现,这将是一大爆款子弹。”
走入漫画的“贵妃”李玉刚
第一个吃螃蟹不容易。参与特效研发的陈西回忆,最开始的模型版本惨不忍睹,尝试了好多次都不行,大家甚至对实时漫画的可行性产生了怀疑。然而即使在最艰难的时候,团队也希望再试一次。
在陈西所在的研发团队,拥有计算机视觉、计算机图形学和数值分析等多元背景的技术人才,每个人都有自己的专长和经验。“我们又扒了一遍所有可能相关领域的已有研究和文献,有同学提出可以尝试各种轻量化模型的嫁接混合,效果确实得到改善,大量实验后终于选出了现在的主干模型。”
看起来是放手一博的革新,其实背后是公司跨团队、跨领域共同协作才能水到渠成的结果。
实时漫画的处理对手机性能要求极高,计算非常复杂;此外,抖音用户众多,机型性能差距大,需要专门研发复杂、定制化的模型下发策略。
公司全平台的技术成果和资源帮了大忙。拿漫画特效启用的字节跳动自研的推理引擎ByteNN来说,端侧性能和功耗均处于业界领先水平,保证了实时漫画能够稳定支持抖音海量的用户群体。
用户需求多广,玩法脑洞就有多大
如何让用户真正玩起来?特效项目组的同学没少费脑洞。
在变身漫画推出前,团队已成功参与打造并引爆了宝宝特效、变身情侣等诸多抖音特效,在道具结合定制化音乐bgm的创意玩法上颇有经验。
变身情侣特效
拍摄简单、配乐有趣的宝宝特效
“脑暴小组”里,集结了来自北上深+北美4地、脑洞大、产出过无数爆款的产品、设计、交互工程、运营和市场同学。最终,在为期20天产出的100+方案内,大家选取了6个道具创意,承接不同年龄、层级和喜好的用户需求。
适合全民、低门槛拍摄的“变漫画”玩法:
二次元新奇玩法:
“结合抖音用户喜好、历年爆款道具特征和3轮nps调研结果,我们最终把「变身漫画」当作了‘漫画系列’的主推道具。”产品团队玉辰说。
在玩法开发的过程中,“手控滑杆”是首次使用的新交互形式。然而,在初期版本中,80%的用户都无法“拖动滑杆”变身,交互尝试屡次碰壁。
但产品和交互工程同学仍然坚持在这个方向做最极致的道具效果。“因为我们走进商场、地铁、小区采访了近百名用户的体验感受,发现一旦能滑动成功,他们明显更惊喜,玩性大增。”
随着漫画特效在抖音大火,产品同学联动剪映、轻颜等多款产品上线了同款变漫画图片功能,进一步推热二次元狂潮。
“特效发酵的过程中,我们发现大家喜欢把婚纱照、全家福等合影变成漫画,而实时动态方面我们还没有实现多人同时需求,这意味着还有很多可挖掘的空间,而随着技术的探索和积累,以后肯定还可以玩出更多花样。”
大家很有信心,下一个爆款特效,正在路上。