本文首发网易游学APP（原网易游戏学院）
GDC是在全球范围内享有最高影响力的游戏开发者会议，已举办35届，今年于3月21至25日在旧金山举行。网易互娱今年有12位大咖的9个提案入围GDC非赞助类演讲，包括1项核心演讲和8项主题峰会演讲，让我们一起围观入围的提案和大神风采！
一、技术概述
标准的剧情动画设计通常先由游戏设计师构建故事情节，然后资源制作组基于故事情节来制作动画。但是这个动画设计过程往往伴随着多次的沟通和修改，因为制作的动画不一定能与游戏设计师的想法所对应，这个过程会浪费大量的时间和人力。
为了提高角色动画制作过程中的沟通和开发效率，我们提出了一个低资源依赖的易用过场动画预览工具。这个工具包含5个插件，可以根据游戏剧本一键生成配音和动画原型。游戏设计师们可以十分容易地利用这些插件来构造原型，并且用于沟通和修改。这个工具可以有效地减少了资源的浪费，以及方便了剧情动画开发过程中的沟通和调整。
目前方案的其中4个插件已全部接入Messiah和Montage的剧情编辑器中，而且每个插件也可以单独拆分，服务于相应的功能。
目前方案已被GDC2022的tool submit接收：
二、问题背景
剧情动画设计往往需要伴随大量的资源准备，然而每一次的剧情迭代都会牵动很多资源的改动。传统的剧情动画设计，一般是先由策划撰写一个完整的剧本，然后为每个角色和对白标记上对应的情绪，确定好之后会分别由美术和音频的同学进行动画绘制和音频配音，从而拼接起来完成一个完整的剧情动画。然而大多数情况下，这个过程会需要多次的沟通和修改，甚至可能会因为剧本的问题需要推翻重来，因此带来了资源的浪费。
传统剧情动画制作流程
在一个完整剧情动画设计中会涉及到一些重复迭代的部分，包括：剧本撰写、剧本情绪识别、配音、嘴型动画、表情和动作、站位镜头等，现有的成熟的AI技术理论上能处理剧本情绪识别、配音、嘴型动画、表情和动作的部分了，但是还需要针对实际项目中的一些问题进行适配，比如剧本数据领域、配音情绪处理、不同游戏的动画设计等。另外的剧本撰写和站位镜头相关技术仍在发展阶段。
总的来说，剧情动画制作，在实际项目中会遇到以下问题：
- 剧情动画工具对于非专业人员入门十分困难，而且反复地修改剧情会带来资源的浪费；
- 剧本相比于一般自然文本来讲更短而且上下文依赖性更强，同一句话在不同的上下文情况下情绪会不一样，而且同一个人对不同的对象也会有不同的情绪，还有一些游戏风格类型的文本风格适配问题；
- 配音往往会更关注情绪表达，语音合成技术在对于情绪表达方面也需要依赖大量的标注数据，而且还有音色转换等问题；
- 嘴型动画通常是比较繁琐重复的工作，一般在初期的剧情动画设计中不涉及，因此会缺少很多角色表现力；
- 表情和动作同样也是角色表现力的体现，初期缺少了会影响剧情动画原型的一些质量，从而没能更直观地体现出成品，可能会导致设计师们对于后续剧情动画迭代的一些细节的把握不够精细。
为了缓解上述问题，我们参考CG制作过程中的分镜概念，借助剧情动画原型来介入剧情动画制作过程，并且期望剧情动画原型在制作过程中，可以十分方便地让游戏设计师们自行调整至自己满意的程度，再去做进一步的沟通和制作，这样可以很好的地避免时间和资源的浪费。
游戏设计师可自行调整，方便后续资源准备和沟通
另外，为了达到便捷易用，这个工作提出了一个剧情动画自动化生成AI工具包，可以一键生成剧情原型，使得剧情动画原型更贴近成品，提高剧情动画设计过程中的开发和沟通效率。该工具包集小说转剧本、剧本情绪识别、情绪语音合成、嘴型动画与表情动作四个插件匹配于一身，既能一键生成剧情原型，又能单独拎出每个插件服务于对应场景。
剧情动画自动化生成AI工具包可以直观地展示出游戏设计师前期的剧情设计，让设计师自行调整剧本内容和效果，再使用产生的原型与负责资源的同学进行沟通，可以有效地减少了资源的浪费，以及方便了剧情动画开发过程中的沟通和调整。而且其中的嘴型动画可以达到直接可用的程度，减轻了美术同学的工作。
三、技术实现
我们受CG制作的启发，CG制作通常会先让设计师制作原型，一般通过漫画、分镜、故事版等方式表现，然后再针对原型来准备资源，最终完成一个完整的CG。其中的原型起到了十分关键的提效作用，资源同事可以十分清晰地明确整个CG的流程和细节。
换而言之，在剧情动画制作过程中使用原型，也是可以提高制作效率。因为剧情动画通常都是使用游戏中的角色资源来制作，那么我们希望剧情动画的原型是可以更直观而且更容易去制作，以便游戏设计师都可以自行制作，因此我们提出了一个剧情动画自动化生成AI工具包，主要包含4个顺序的插件：小说转剧本、剧本情绪分析、情感可控语音合成、嘴型表情动画合成。每一个插件都是相辅相成，也可以单独拎出来成为一个插件，即插即用。
剧情动画自动化生成AI工具包流程图
总的来说，我们的剧情动画生成方案包含5个插件：小说续写、小说转剧本、剧本情绪分析、情感可控语音合成、嘴型表情动画合成。每一个插件都是可以相辅相成，也可以单独拎出来成为一个小部件，即插即用。
方案的整体流程是：
- 先输入一段小说，或者一个片段的开头，小说续写模块可以天马行空地去往下续写到无穷长。
- 然后基于输入或者生成的小说形式的文本，通过小说转剧本模块，转换成“角色：对白”这样的节点图。
- 得到节点图后，通过剧本情绪识别模块，对每句对白提取出对应的情绪。
- 将角色、对白以及情绪输入到语音合成模块中，输出带有情绪的配音合成文件。
- 嘴型表情动画模型将配音和对白进行自动对齐，然后合成出对应的嘴型动画，同时也使用情绪结果来产生对应的表情动画。
下面是除了第一步之外的其他四步一键生成的例子，分别集成到了内部的Montage和Messiah剧情编辑器：
四、插件介绍
1. 小说续写
对输入的小说片段进行续写，下面是一个例子，可以生成丰富多样的续写结果。
• 例子1：
输入：几经修炼，叶凌天的虚灵神掌已经修炼得出神入化
1. 不但能够使得身体发光，更是在掌法上达到了另一个境界，可以随意挥洒，威力也大幅度提升。<eos> 这一刻，他的手上灵纹闪耀，每一道灵纹都是由精粹的银色符文构建而成，灵气逼人而充沛，似乎已经具备了生命，就像一个活物一般在他手中跳跃挣扎。<eos> 这是一套极为高深、玄奥，堪称逆天的武功秘法！<eos> 叶凌天的心神沉浸其中，他的身体内部似乎有了生命一般，每一根毛孔都开始吸取着天地间的灵气和精华，而且随着时间推移，他感觉自己好像与外界产生共鸣，就像一个小孩在呼吸一样，不知道是什么原因，他的感官变得敏锐了起来。<eos> 这一日，叶凌天再次来到了制符室，这里依旧是在石屋内，但是却多出了一个空旷的大厅。<eos> "师父，今天我们可以进去吗？" <eos> 他看着面带笑容站在大厅内的师父，语气平静无比。<eos> "当然！你要记住，此刻可是修炼关键时刻，切忌贪功冒进，不能因为修炼就忽视了这一点。" <eos> 听闻此言，叶凌天顿觉浑身舒爽，脸上也浮现着激动的神色，不由大声说道："弟子知晓了！" <eos> "嗯，知道了！" <eos> "师父，您现在是否已经掌握了‘如意通’之术了？" <eos> "...
2. 此刻他的肉身经脉已经彻底恢复了，可以动用真气，不过这种状态却是需要消耗大量精力。虚灵神掌，乃是武者所必修，其实力更多的是在于肉身上，一旦肉身达到极限就会有一个飞跃性的增长，而且随着武者境界提升，肉身力量也会随之提高，这是因为每一次进阶都伴随着巨大的收益，而这一次却是精血出现了问题。<eos> 所以，这一次的提升是有限度的，不过他虚灵神掌却也是可以进阶的了。<eos> "呼！" <eos> 叶凌天深呼一口气，就开始准备第二炉灵材熬制了。<eos> 这时候，天色已晚，他将手中的灵材投入到火堆里，随后就盘膝坐下，静等着炼制成功。<eos> 他的魂海中，此刻正在凝聚着一团银色符纸，它就是那种能够增长真气的银色符纸，只不过因为其上的符咒较多，所以并没有什么攻击力。<eos> 但是，在他修炼的期间，那些符纸都会自动飞向他的体内，被他吸收，转化成精纯的真气流入丹田，滋养经脉，同时，他还不断消耗那些符咒的力量，使得自身更强大一些。<eos> 如此过去了十日，叶凌天终于完成了最后一道工序，接下来便是第三炉灵材的煎制了，这一炉药材是用来炼制‘百灵丸...
3. 此时他体内的真气澎湃而又磅礴，就仿佛要爆发开来的样子，但是他的心境也在逐渐恢复着。<eos> "这次我终于练成了‘虚灵掌’了？" <eos> 叶凌天轻叹一声，他已经完全适应了虚灵神掌所具备的威能以及对其掌握程度的感悟，现在的掌法与功法相互配合，他的实战水准提升了好几个层次，这让他更加坚信自己的武道修为还有可能得以提升，不过他还是忍不住有些担心，毕竟这样一来，自己就没必要再继续去尝试如意掌了。<eos> 在这一刻，叶凌天很期待下次与那人交战，当初他甚至怀疑自己到底是否能够真正将‘虚灵掌’练到大成境界呢？<eos> 这一点，是那人无论如何也不会想到的。<eos> "我已经习惯这门功法了！" <eos> 叶凌天深吸口气，目光中闪烁着睿智的神采，喃喃开声，随后便开始准备炼制符纸和符墨了。<eos> 他的目标，就是那三种灵材。<eos> 他之所以会如此决绝，是因为那三种灵材，一旦出现，就会引起其他门派觊觎，届时恐怕就会引发各方势力的疯狂追杀，这对于他而言并非什么好事，反而是一个很大的隐患。<eos> 所以，在如今的形势下，他必须保持低调行事...
• 例子2：
输入：此时乔峰三处伤口血流如注，抱着阿朱的左手已无丝毫力气，一被长绳卷起，阿朱当即滚在地下。众人但见长绳彼端是个黑衣大汉，站在屋顶，身形魁梧，脸蒙黑布，只露出了两只眼睛。
1. 乔峰当即上前扶住阿朱，开口道："阿朱！你没事吧？" <eos> "没事的。" <eos> 阿朱虚弱说了句话，就再度昏睡过去了，她身旁的乔峰则是满脸阴沉地看着黑衣大汉。<eos> 此时他的伤势比之方才还要重一分，但因为有长绳作为牵引，所以无需乔峰催动灵元，只是凭借强横的实力将之拖拽至地下，而后那个黑衣人带着阿朱离开了这处小屋子，继续在外面游荡着。<eos> "你们是什么人？" <eos> 乔峰目光冷峻的问道。<eos> 他现在心情十分糟糕。<eos> 他已经在此战斗了数时辰了，可是对方却始终没有显露身份，甚至连自己都不知道自己究竟遇到了何事，这使他很是郁闷，更令他感到愤怒的是对方居然还能如此镇定，不仅如此，还能够轻易的将他们二人重伤至此，这绝非...
2. 众人见状皆大吃一惊。<eos> 这黑衣大汉的修为竟然也是三重天之境，且不说他能够以一敌二，单是这修为实力就非同小可，此时他们的身旁还有个小姑娘在旁，她可是乔峰的女人。<eos> "阿朱！！！" <eos> 乔峰惊叫出声，双眼瞪得滚圆，满脸都是不相信的神色。<eos> 只见阿朱浑身浴血，躺在地上，脸色苍白如纸，气若游丝，看来已经受了不轻的伤势，这一刻她几乎是要晕厥过去的，他却又不能有所作为。<eos> "我没事，阿朱你先起来，我们还有话要说呢？" <eos> 乔峰将阿朱抱着放下，语气平稳地说道。<eos> 而这话语中的意思却是再明白不过了。<eos> 他现在已经知晓了对方的实力，这样的强者自然不会轻易放掉自己等人，但如果这黑衣大汉真想要杀他们，他必不能如他所愿，这样一...
3. 众人皆惊，心中不免有些骇然。<eos> 这黑衣大汉的实力之强可是超出了他们所有人想象的地步，即便是乔峰都没办法轻松应对此人的攻击了。<eos> "小子，你这是在干什么？！" <eos> 那黑衣大汉见状不禁冷声质问道。<eos> 乔峰闻言只是嘿然一笑："你们还真当自己天下无敌了吗？！告诉你们，这里是我的家，而且还是你们这些土著的家。<eos> 现在阿朱已经是我的女人了，就是我死了，她也是我的女人。至于你们嘛，哼，我乔峰可不怕你们。" <eos> "放肆！" <eos> 黑衣大汉勃然大怒，"既然你要找上门来，那老夫就成全你！" <eos> 话落，他一掌拍出。<eos> 霎时间劲气如潮水般汹涌而出，直接就朝着乔峰拍去，看样子是打算先将对方镇压再说的。<eos> 这一掌势若惊雷，速度极快，就连屋顶都被掌风吹...
2. 小说转剧本
对小说格式的文本进行说话人和对白提取，转换成对白节点图，方便后续的分析和处理。
• 输入
• 输出
3. 剧本情绪分析
对剧本中的每一句对白进行自动情绪分析。
剧情类游戏（RPG、AVG等）的游戏剧本中，往往存在大量的对话文本。为了准确把握角色当下的情绪，作为游戏中角色做表情或动作的基准，游戏策划需要通读整个剧本后再给每句话打上情绪标签，比较费时费力。互娱AI Lab研发了一套剧本情绪识别系统，能根据剧本中角色的对话自动识别当前角色情绪，提高游戏开发效率。
目前支持normal（无情绪）、serious（严肃）、happiness（高兴）、sadness（悲伤）、fear（恐惧）、embarrassed（尴尬/害羞）、anger（愤怒）、surprise（惊讶）、unhappy（烦躁）、thinking（疑惑/思考)、kidding（捉弄/调皮）等11种情绪。
4. 跨语言跨说话人情绪可控语音合成
通过一定量的情绪语音及跨语言语料来实现跨语言跨说话人情绪可控的语音合成，通过情绪控制变量来丰富语音合成结果的表现力。
5. 嘴型表情动画
通过自动的语音-文本对齐技术，以及嘴型动画合成技术，还有情绪+表情生产技术，一键生成丰富的角色表现效果。
五、致谢
感谢Messiah和Montage的剧情编辑器的大力支持，也感谢天下3、梦幻西游、明日之后、荒野行动等游戏的资源支持。