从游戏到实时电影

9月23日，首届“梦想·匠心”腾讯游戏开发者大会于深圳举行，在美术分论坛上，Unity技术艺术总监江毅冰最后以《从游戏到实时电影》为题，展示Unity在HD模式下的全新场景和人物，并与过往的画质进行了深入对比。

江毅冰：大家好，我叫江毅冰，今天我想分享一个比较新而且比较有潜力的领域叫实时电影。首先介绍一下我的经历，以及我如何从电影界到游戏界，到现在进入实时电影界。

记得在我小的时候，每天从6点半到7点，在新闻联播之前就可以看动画片，那时候是我最快乐的时光，有时候除了动画以外，偶尔他们还会播一些动画电影制作的花絮，讲述迪士尼的那些动画师如何描述绘声绘色的角色，当时我觉得这是世界上最酷的一个职业，并且下定决心将来一定要成为一名动画师，制作一部迪士尼水平的动画。

但是这个梦想并不是那么简单，那时候的信息还不是那么流通，以画画为职业的想法几乎不可想象，当时考大学的时候，我爸妈就跟我约法三章说，除了医生、律师、工程师之外，其它的专业都不需要考虑。于是我就如父母之愿进入了武汉理工大学自动控制专业，但是我没有放弃动画的梦想，平时有时间就做动画，上大学我做了6部独立短片，其中有一部是三维的，家里的电脑根本跑不了这些东西，那时候就在学校实验室里熬夜做，因为白天要上课，机子都被别人用了。直到有一天我意外收到了一封邮件，是来自俄亥俄州立大学ACCAD实验室的，他们是曾经有帮助制作《泰坦尼克号》，早期的3D动画一些有名的人好多都是从那个实验室出来的，他们在邮件上说看到我的一部短片，觉得非常感动，希望我能报考他们学校。

当时虽然只是一封邮件，但是对我来说是雪中送炭，因为除了我身边几位朋友以外，从来没有专业人士，在国内，学理工的不可能去做动画，成为动画师对我来说一直是遥不可及的。

既然有了这封邮件，我就自信心大增，接下来除了俄亥俄州立大学之外，我还报了美国几所著名的动画学校，居然有4所给我录取通知书，其中有两所给了我全额奖学金，最终我选择了纽约视觉艺术大学。著名的蓝天工作室的创始人原来就在纽约艺术大学当过导师的，我觉得当时是我梦想中的学校，并且他们还给我奖学金。接下来就像在电影里的情节一样，一开始只住得起纽约最便宜的房子，被迫搬了4次家，到后来被迪士尼录取，搬到两人一间的别墅，跟随迪士尼最著名的动画师，艺术家Eric Goldberg, Glen keane,Mark Henn学动画，随着被选到梦工厂的PDI部实习，然后被美国政府行政处理禁止入境了两个月，终于最后收到了皮克斯的录取通知书，最后如愿以偿进入到了世界上最好的动画公司。

现在想起来，那一段一下像上天堂，一下像进地狱的故事足够可以拍电影。

我进入皮克斯之后，感觉它就像一个小联合国一样，聚集着世界各地的动画精英，在他们身上学到了很多东西，有些人是专攻色彩、动画，我当时一个室友是《阿凡达》的灯光指导，另外一些人还很难确定他们是干什么的，你可以叫他们技术美术，但是在皮克斯我们叫他是魔术师。因为在传统动画制作工作室是没有他们的职位的，但是随着计算机图形学的迅猛发展，他们单枪匹马可以做出几十个人的团队做的工作。例如2011年的《勇气》这部片子，里面的树林是由魔术师用代码写出来的。当时的艺术指导要调色彩或者要调树的形状，他在现场跟艺术指导调，大家都深为感叹，从来不知道动画可以这样做。

我在皮克斯是一名材质师，当时根据传统动画的工作流程，我大部分时间是花在渲染上的，当时电影界研究实时渲染的没有几个人，那时候实时渲染只用在游戏上，而且渲染效果和动画电影的差别是巨大的。

因为实时电影是一个比较新的产业，在早几年有几个Demo引起了大家的注意，其中包括在《勇气》这个电影里做的实时电影的树林，这里面所有的树、山脉和云全部是实时渲染做出来的。

由于看了这些Demo，我就对实时渲染的兴趣暴增，当时就觉得一定要学习实时渲染。我2012年加入顽皮狗工作室，当时AAA的游戏画质已经离电影的画质接近了不少，特别是最后看到《生还者》的预告片。但是在动画电影界大部分人对实时渲染有偏见，而且认识也不是很多，所以我觉得留在电影界我是绝对不可能学到最前沿的实时渲染技术，所以我权衡了利弊，终于决定辞掉当时迪士尼的工作，离开动画电影界，来到顽皮狗，参与《神秘海域4》的制作。

进入顽皮狗首先是学到了实时渲染和现代动画渲染的巨大区别。最近的几部迪士尼的片子，大部分是用这样一个Path tracing（路径追踪）的技术，它模拟的是现实生活中的灯光的物理原理，使画面看起来更完美、更真实，但是对渲染的速度，其实比2000年早期的速度还慢一些，以《海底总动员2》为例，官方给出的数据是渲染出了一帧大概需要30个小时，在海底的一些片断渲染速度会达到50到60小时一帧，而实时渲染基本要求是30帧一秒，也就是说如果我们要做实时渲染，我们的速度会比现在的动画电影要快大概325万倍。

就是因为这325万倍的速度差距，在我们想要达到电影画质目标之前是几乎没有先例的。当时我觉得我在顽皮狗唯一的优势是，我知道电影的标准是什么，而且如果大家玩过顽皮狗的游戏，大家就知道他们绝对是想把他们的游戏做得很像电影，我就想把不可能变成可能，在《神秘海域4》担任起“魔术师”的角色，我在这里面主要是负责角色的材质的工作。主要的挑战是单机对模型的精度有要求，比如说头发，基于硬件的要求，你不可能真的用那么多发丝，我们需要用传统的那些发的卡，因为那些发卡是平面的，我们需要让它看起来立体一些，我尝试了改变模型的normal，拷贝细节阴影，用拷贝下来的精度的阴影和普通游戏上所用的低度的阴影结合起来，然后再编写慢反射的模型，你们看那个光从后面反过来，其实都是用代码写的，那个并不是真正的光打过来的效果。最终结合起来，就让那个头发看起来很写实。

另外一个挑战是充分发挥实时的优势。下面一个例子就是角色师可以很容易设置服饰，不用花时间浪费在细节刻划上。你可以看到他先选择不一样的编法，所有的全部是在材质里面写的，动画师不用调那些很细节的东西，连他的衣服上的线头都可以选择各种各样的，现在是设定他的皮质的花纹，可以要老一点还是新一点的，设定出来这个大概花了角色师5分钟的时间，如果用传统的做法，需要做非常多时间，什么都要一点点雕，我们就是充分发挥实时渲染的作用，如果是普通渲染的话，你调一下那个线头，或者调一下编织，再按一下渲染，然后等几个小时，再调一下再等几个小时，用实时渲染就会快很多。

另外一个例子，可以看到这个人的衣服先打湿，然后有雪积在衣服上面。一开始下雪是下得比较少的，后来是暴风雪，只用调一个数据就行了，不用一点点的调。

如果大家想知道更多的细节，可以上网浏览我去年在美国计算机图形学大会的演讲内容。

为什么实时渲染是动画电影制作的未来？对于艺术家来说，特别是材质、灯光、特效，可以大幅减少在渲染上的消耗的时间，意味着我们可以把精力集中在画面上，对艺术指导来说，可以第一时间看到成品，更高画面会容易很多。对于制片商来说，实时渲染减少了对于人员、时间的消耗，从而大量减少开支。现在一部高画质的动画片大概要花1到2亿美元的成本，我不知道国内是什么样的，但在美国看电影的人是越来越少的，电影制作的开支不得不减少，要不然就会血本无归。另外游戏、VR和AR都是实时渲染的，所以制作实时渲染的影片之后，可以进一步改为游戏、VR、AR的作品，这样你的作品可以占领更大的市场空间。

现在唯一的问题就是实时渲染的画质和电影比较有一定的差距，这个图形是《教团1886》的截图，乍看上去你感觉和电影的画质差别不是很大的，但是如果你仔细看细节，这边的阴影都是没有的，这些全部像是贴图画出来的，电影上不可能是这种效果的，现在实时渲染在这方面应该已经解决了，但是当时因为阴影的分辨率比较低，所以能做到这样已经是比较好的实时渲染的样本。

我进入游戏行业以前已经做好了充分的思想准备，就是画质会降低很多，但是真实的实时渲染画质比我想象的要超前，比如说光影上可以拷贝下来，用PBR材质，加上后期的处理和电影级的场景，最近几年大量涌出跟电影差不多的Demo。但是在有些方面的画质是比较落后的，比如说角色，比如说细节的阴影表现还是比较困难的，还有一些半透明的，需要折反射的材质，很难在实时渲染中实现。很多东西现在说很难，但是过一两年可能技术进步之后就能解决了。在动画骨骼绑定方面，现有的引擎无法提供繁琐的动画水平的骨骼绑定。这是我们在2012年的时候总结出来的实时渲染的问题。

但是实时渲染的发展速度是非常快的，以2007年为例，我这里选择了同样一家公司出的产品，比如说上面这个是顽皮狗出的，可以看到神秘海域1和神秘海域4，它的差距是非常大的。但是在皮克斯出的产品在前后几年的差距并不是太大。照这个速度发展，加上实时渲染的种种优势，我觉得很快实时渲染就会接近电影的画面。如果大家有关注顽皮狗的一些实时渲染的作品，可以看到这些作品，比如说神秘海域4，2014年E3的Demo，还有最后生还者2在2016年的一个Demo，很多人都不敢相信这是实时渲染的作品，但是我们知道这绝对是实时渲染做出来的。

我经过了在顽皮狗接近5年时间的磨炼，我觉得现在已经是最佳的时期来制作一个与传统电影画质没有区别的电影，改变电影实时渲染的历史，于是我就反复斟酌，决定从顽皮狗光荣毕业，打算组队制作一部自己的动画片，就像早期皮克斯制作三维短片一样，慢慢由短片制成长片。

我把我的第一部作品的脚本发给曾经和我合作的导演、编剧，比较幸运的是我在各大电影公司都工作过，所以认识的导演和编剧还比较多，虽然已经做好了被吐槽的准备，但是大部分的邮件还是石沉大海。现在比较感谢的是Bruce Stranly 神秘海域2、神秘海域4和最后的生还者的导演，他一直在帮助我把故事写好，在他的指导下我重写了13遍脚本，到现在大家已经非常喜欢这个故事，这给了我很大的信心，于是我来到旧金山，把我的短片和原画的故事稿发给了Unity的VP和CMO，他们看完以后也非常喜欢，而且他们觉得做这部片子可以帮助Unity推进引擎的画质，希望我加入，实现我的动画梦。

当时在微博上好多人问我为什么选择Unity，其实主要有三方面的考量，一方面是渲染画质的质量，一方面是动画的质量，第三方面是在有限的资源下如何创建最好的团队，很多方面要细节考量。

近期Unity出了一些好的画质的影片，大家应该看过法国电台的一个卡通片《MR.CARTON》，这就是Unity做的。

然后Unity聘请了非常著名的专家重新写Unity高端引擎的部分，现在的画面感觉比以前高很多，画质直逼电影画质。以角色的材质为例，我们建立了角色的皮肤、毛发、布料、眼睛的材质，可以看到和之前的画质相比有很大的区别。

灯光技术也越来越超前，现在电影上比较注重的一些东西，在高清渲染模式上都有加入。

这是现在比较流行的走在地面上拍一些照片，去掉光影之后直接生成3D模型，画质和电影是非常相近的，这样可以大量减少制作的时间。比如说你到一个森林里面，或者是一些自己喜欢的建筑，你多拍一些照片，然后把它的模型用软件制作出来，再把它的阴影去掉之后，可以渲染出比较真实的景象。

渲染画质我已经觉得没有什么问题了，现在就是要得到一个好的动画效果，好的动画给角色生命力，让我们为他们哭，为他们笑，为他们而感动。所以在游戏或者是特效电影里面，动画是非常重要的。在电影里面大概用的是Mocap的形式，也就是动画捕捉的形式，比如说阿凡达就是用Mocap制作的，顽皮狗也是用Mocap制作了神秘海域。而皮克斯和迪士尼用的还是逐帧调的方式。不论你喜欢怎样的方法，你都可以在可以用任何3D的软件导出Alembic文件。Unity是最早有游戏引擎支持Alembic文件的，如果我想要迪士尼水平的动画，我只要找到迪士尼水平的骨骼绑定师和动画师，他们并不需要懂得任何实时引擎的知识，就可以在任何的3D软件里面导出动画，然后导出为Alembic文件，然后导入到Unity里面，动画的质量不会受到任何的影响。还有布料、液体的动画模拟也是比较难于在实时渲染里面实现的，所以他们也可以把素材导出为Alembic文件，然后导入Unity，这是我选择Unity最重要的一个原因。（我有说错话，请在视频里面删掉括号里这一段。就是他们在Alembic方面的支持是最好的。我跟当时在皮克斯的几个动画师聊过，他们也想做实时动画，但是当时皮克斯还不支持Alembic文件导入。）

我需要的团队并不是很大，而且资源有限，想找到最好的艺术家，我希望不受地域和时间的限制。Unity支持Collob插件，不管在世界的任何地方，你可以在一个场景上面制作你的动画，然后你导入进来，我就可以收到。现在我的团队大概只有4个人，场景师在德国，灯光师在法国，角色师在洛杉矶，我在旧金山。我现在在中国也面试了几个原画师，还没找到我想要的，如果感兴趣的可以加入，因为用这个方法来做，不用所有人都在一个地方工作，大家可以在世界各地，可以在一个项目上工作，只要你有电脑和网络就行。

最后展示一下我们做的这部短片，本来是想在我的笔记本上跑一下实时渲染短片的片断，但是最后开会决定不秀影片，因为预告片还没出来，还有就是如果用笔记本跑的话，因为我还没有优化，怕到时候跑了会死机，如果大家感兴趣，可以事后找到我，我跑给你们看一下，真的就是在笔记本里面渲染出来的有电影的效果。

这是表情的研究。这是场景、灯光和画面的研究。这是在我笔记本上截图的当时做的效果。这也是在笔记本上的截图，感觉越来越接近动画的画质。这是现在的角色，可以再把摄像机移近一点，仔细看可以看到毛衣的细节，感觉可能会用很多的模型精度，其实那个模型精度和单机游戏的角色模型精度相似的，所有的细节都是在材质上完成的。