在CG动画的制作中,面部表情捕捉至关重要。
一般3D动画,表情这部分的传统做法都是通过动画师来手工制作,也就是一帧一帧地去调。
长此以往,这种手工K动画的方式暴露出很多问题:包括效果不尽如人意、所花费的时间还也很长。在动画行业快速发展的趋势下,美国好莱坞开始通过「软件生成」来做表情动画。
在CG行业早已发展得很成熟的美国,我们可以从不少作品中看到他们运用得炉火纯青的面部表情捕捉技术。
《未来学大会》
早在2013年,好莱坞工作室在制作电影《未来学大会》时,就通过扫描演员面部表情和动作,由电脑生成人物角色表演。
《指环王》——咕噜
《阿凡达》
现在很多热门的电影中,但凡涉及CG的都离不了面部捕捉技术:《指环王》中的咕噜、《金刚》中的大猩猩、或是《阿凡达》……一眼看上去都让人难辨真假。
图by腾讯科技
最经典的要数《速度与激情》,影片的男主角保罗·沃克不幸去世,但制作方却通过CG技术“复活”了保罗。
然而,这样一项重要的技术目前在中国仍是空白,我们能看到行业内基于这个技术而产生的两种显著现象:
①一直在借用国外(可能早已淘汰)的技术,缺少本地化升级,CG动画很容易出现对不上口型的尴尬状况;
②为他人做嫁衣,大多数公司都是代理外国的软件在国内销售,却没有一家公司来自主研发。
在国内面部表情捕捉技术已经习惯了借用国外成果的情况下,居然有一个中国团队意图实现国人在这项技术上的大突破。
一款名为FACEGOOD的表情捕捉软件出现了。
FACEGOOD的研发公司量子动力与国内代理国外产品的公司不同,他们以技术研发为主,自创立以来已发表论文、专利数十项。而FACEGOOD则是该公司自主研发的成果,在各方面测评上都有亮眼表现。
小趴要先与大家回忆这部豆瓣评分8.0的国产CG动画——
《地灵曲》
“创意为骨,以华夏文化为髓”,这部耗资数千万的国产3D巨制上映之初就获得了无数好评。
酣畅淋漓的打斗:
丰富自然的表情:
除了内涵丰富的剧情本身,《地灵曲》也向我们展示了国内CG技术,特别是在面部表情捕捉技术上取得的重大突破。
一名动画师力顶多人团队
《地灵曲》是第一部,也可能是当前唯一一部用面部表情捕捉技术来做表情动画的国产动画网剧。
这一切都是基于FACEGOOD的技术支持。
《地灵曲》虽然是网剧,但是制作团队是按照电影级的标准来做的,仅仅是建模绑定就使用了200—300个blendshape。
其次,在表情动画制作上,不同于国内其他使用语音生成表情的3D动画,FACEGOOD完全使用真人进行捕捉,克服了很多3D动画中人物只有口型没有表情的难题,所有角色都活灵活现,你可以从他们的表情中感受到丰富的情绪变化。
而最让人吃惊的是,那些精彩的面部表情全部由一个动画师负责。
传统流程上,光做表情动画可能就需要10到20个人力。但FACEGOOD的制作流程非常简便,建模方式是通过扫描站,用3D扫描的形式去扫描真人,扫描完之后便可以得到FACS表情集作为模型。表情集分解独立表情后,就可以拿去做绑定,绑定完就可以用表情捕捉技术去驱动这套模型了。
人脸模型训练过程
“FACEGOOD使我们的制作周期大大缩短,实现了周更之外,耗费的人力也很少。”
量子动力CEO王全伟解释道,如果采用传统的手工K表情动画的方式,可能一分钟的动画需要整整付出一周的时间,但如果使用面部表情捕捉技术,基于人工智能自动化的便利,不到一个小时就能完成表情动画的创作。
这意味着,假设我们传统K动画需要每天工作八小时、辛苦一周完成表情动画,那么得益技术的发展,可能会实现高达90%的效率提升。
这在传统制作流程中着实难以想象。
解析:面部表情捕捉技术
从诞生至今一年多的时间中,FACEGOOD已经完成了三次软件升级。
FACEGOOD 1.0硬件
FACEGOOD 1.0
头部抖动鲁棒性很差
标记点都跟丢了
FACEGOOD 1.0算是FACEGOOD的雏形,它的硬件是有线的,无法对多人同时捕捉,算法鲁棒性也比较低。
鲁棒性好一些
但仍然会丢失
随后诞生的FACEGOOD 2.0使用了全新的硬件,除了支持无线表情捕捉外,算法改进也很大。
FACEGOOD3.0硬件
FACEGOOD 3.0
完全不受影响
如今已发布的最新版本——FACEGOOD 3.0版本已经实现了同时支持“加点”与“不加点”两种方式的表情捕捉。
哪怕对比国外知名的同类型面部捕捉软件FACEWARE,FACEGOOD的表现也毫不逊色。
使用的是最新版本 faceware 3.2.1.438
跟丢问题很明显
FACEGOOD 3.0
完全不受影响
而在硬件上,FACEGOOD 3.0已经做到了支持多个摄像头,实时捕捉技术也已经在《地灵曲》中实现,并大获成功。
目前,FACEGOOD正在尝试构建一个表情解算平台。在这个平台上进行表情解算时,可以离线也可以实时、可以选择2D也可以使用3D,具体方法完全交给用户去选择。他们可以根据自己的项目需要去选择适合自己的模式。
手机无标注点解算模式
小科普:面部表情捕捉方案
实时与非实时
一般来说,现在的电影制作采用的都是非实时性的。非实时性的优势是有很高的精度,因为它的计算时间非常长;而实时性的就比如实时面部,制作者可以实时的看到自己的动画。实时性的面部表情捕捉有很好的交互体验感,但相对于非实时性的表情捕捉而言,计算精度比较低,很多细节的变化都无法捕捉。
2D与3D
3D的面部表情捕捉也就是通过3D重建的方式去进行表情的重建。从直观感受上来看,2D与3D的区别其实就是一个摄像头与多个摄像头的区别。当使用多个摄像头时,就会通过多角度来重建一个3D的人脸,然后通过人脸去呈现某个表情。2D则是使用单个摄像头进行表情捕捉。
“加点”与“不加点”
所谓“加点”,就是在制作一部作品时,为了捕捉更多的运动细节,就可以在某个点上加上一些标记点。
制作人举了一个很形象的例子:“当我再制作脸颊时,因为脸颊本身是很平坦的,并没有很明显的特征,但是它的运动细节非常多。比如眨眼的时候脸颊也会随之运动。在需要捕捉这种微小的动作时,就可以通过“加点”的方式提高动作捕捉的精确度。”如今很多优秀的好莱坞作品都是加点的。
而“不加点”的表情捕捉就是直接通过人脸识别去捕捉。这种方式捕捉精度会很低。它能够捕捉到五官,但像脸颊的这种特征就没了。
表情捕捉的方案虽然有很多种,但具体怎么使用还是要根据项目决定。
量子动力CEO王全伟介绍道:“比如只是要做一个游戏,因为游戏本身精度要求不高,那就可以简化捕捉方案,制作周期也会相应缩短;如果是要制作电影,那就需要提高捕捉精度,可以采用3D、加点等方式。”
而如今的FACEGOOD完全可以做到根据项目调整所需的捕捉方案,这对于广大动画人来说无疑是个福音。
稳定+高精度=完美效果
面部表情捕捉技术的稳定性和捕捉精度一直是两项重要的参数。
传统的面部捕捉经常会出现不稳定的状况。因为在拍摄过程中,演员身体的运动在所难免。当头部进行剧烈运动或是摄像头产生晃动时,测重点很容易丢失。
为了结局这个难题,量子动力进行了数次尝试,终于找到了解决问题的方法。
最新发布的FACEGOOD 3.0版本中,增加了鲁棒性,在演员快速移动身体时,镜头仍能保持超高的稳定性,不会轻易丢失测重点。
可以任意加点也让这款软件拥有明显高于其他同类软件的捕捉精度。
稳定的镜头和超高捕捉精度带来的便是堪称完美的表情呈现效果。
呈现效果的好坏主要是根据曲线来评价的。柔软度,噪音,口型重建精度等都是评价最终效果的重要参数。FACEGOOD 3.0则做到了“全面兼顾”。把噪音降至最低、增加模型柔软度、提高口型重建精度,最终向观众们呈现了完美的效果。
虚拟偶像直播
在打通了诸多技术屏障后,量子动力透露,他们将计划进军虚拟偶像直播行业。
虚拟偶像其实是个很早的概念。而在这方面起步最早的应该是日本。
2007,CRYPTON FUTURE MEDIA以Yamaha的VOCALOID系列语音合成程序为基础开发出了一个音源库,也就是众所周知的初音未来。
这个葱色头发的少女一经推出立刻赢得了超高的人气,并成为世界上第一个使用全息投影技术举办演唱会的虚拟偶像,而“初音未来”甚至还发展成了一种文化现象。
跟虚拟偶像不同的是,虚拟直播是近几年刚刚出现的。随着动作捕捉和表情捕捉技术的诞生与发展,这种全新的娱乐内容也慢慢开始流行。
量子动力在也开始在虚拟直播方面进行一些尝试。比如他们准备和《地灵曲》合作,打造出一个全新的虚拟偶像。
“因为虚拟偶像直播有难以预估的优势。对于公司而言,这个虚拟偶像会是他们可以多次复用的资产。对于用户而言,虚拟直播让他们的偶像变得立体,灵动,具有互动性,而不再只是动画或电影里的静态形象。”
在虚拟偶像直播形式方面,量子动力也将充分利用FACEGOOD的技术支持,制作出更“接地气”的虚拟直播,而不是一昧照搬日本的内容。在虚拟直播中会有主播,也会有粉丝互动,当然这些都会置于二次元的3D场景中,同时也会增加一些很炫的效果。比起正统的直播,它会更像是一种游戏体验,会有一些培养及养成在里面,而形式上会更倾向于一对一或一对多的形式。
“我们绝不会自己标榜自己的软件有多厉害,一切评判全部交给用户。”
量子动力秉持着这个态度做出了一个重大决定——FACEGOOD 3.0对用户免费开放。(文末有福利)
在面部表情捕捉技术仍是一片空白的国内,量子动力研发出的FACEGOOD本身就已经突破了国外技术壁垒,而现在,他们选择用互联网思维来推广自己的软件。但在国外同类型软件售价极高的现在,FACEGOOD 3.0依然完全免费,其下载使用也没有任何门槛的。
比起销售软件,量子动力更希望通过用户的亲身试用来给FACEGOOD 3.0一个客观中肯的评判。
相信在不久的将来,国人一定能在表情捕捉技术上能够取得更大的进步,打破国外技术壁垒的同时,也做出属于国人自己的特色。
不知道这款有心的国产软件能否助力国产CG动画再上一个台阶?
戳下方【了解更多】即可获得这款酷炫软件的下载链接!