距离神舟十二号载人飞船发射圆满成功已经2个多月,我国三位航天员聂海胜、刘伯明、汤洪波在轨执行任务时间也已过去三分之二。
这段时间,腾讯游戏与新华社媒体融合生产技术与系统国家重点实验室共同打造的全球第一位数字航天员、新华社数字记者小诤带着我们的向往,自由探索宇宙,不仅漫游中国空间站天和核心舱、国际空间站、和平号空间站三大空间站,也见证了我国航天员们的出舱活动。
小诤究竟是一个什么样的存在呢?
今天,新华社揭秘小诤的更多细节,带你全面走近“小诤”:
小诤的皮肤充满细节,能随着光线的变化而变化;小诤的头发有十万根发丝,轻柔飘逸;小诤行动自如,有143根骨骼,其中一只手就有40个骨骼控制点;小诤也能表达情绪,她的脸有五千多个微表情驱动,能清楚表达喜怒哀乐,她的双眼还能观察世界,表达内心……
一切都像你一样。
在这背后,是腾讯游戏NExT Studios15名研发人员的付出,基于自研的xFaceBuilder®平台,从模特与服装等基本素材的扫描、重建,身体、头发、服装、配饰等的精细建模,到人脸绑定、动画,团队耗时共3个月时间,最终利用NExT自研动画生产管线xMoCap®,通过动作捕捉技术给小诤赋予了生命。新华社团队设计了整体形象、场景表现,并通过人工智能,赋予小诤声音、智慧,还会让小诤上知天文、下知地理。
让我们通过几个数字,来管窥小诤的诞生之路。
1位
在角色制作中,NExT Studios数字人团队根据小诤的角色定位,找到一位五官气质接近的模特,并利用自建的Photogrammetry Lab(照相建模室)对她做了完整的表情扫描,从而得以最高品质地还原真人的细节及材质特征。与前几代高保真数字人Siren(塞壬)\Matt不同的是,小诤是造型师和角色艺术家进行了二次美型设计的超写实数字人,既有着如真人般的皮肤、头发、眼睛,也有着完美无瑕、独一无二的外貌。
标准环境下定妆图
航天服单独扫描
在整个人脸建模过程中,NExT 团队基于此前积累多年的实时高保真数字人技术,利用自研的xFaceBuilder®高质量人脸制作管线,通过大量算法优化提升了角色人脸制作效率。
8,192 x 8,192
小诤的面部细节来自真人模特的扫描数据,8,192 x 8,192的高精度材质贴图,配合面部肌肉运动制作的动态贴图,让小诤的皮肤色彩能够在表情、光线变化时实时发生变化;为了增强角色真实感,更模拟了皮肤的透光与次表面反射效果,制作了精细的面部汗毛。
5000个
为了支持小诤丰富的面部表情系统,NExT 技术团队先对模特各种表情进行扫描拍摄,建模师再局部调整刻画细腻表情,最终形成5,000多个Blendshape的表情数据库。换句话说,小诤拥有5000多种不一样的微表情!
Blendshape表情数据库
10万
10万根发丝,是小诤的真实发量。为了模拟真实,NExT 技术团队请了专业的发型师在模特头发上模拟了真实发型效果,并通过扫描建模导入专业发型制作工具Xgen。全部头发作为曲线缓存导入UE,既可以接入Groom实现实时动态效果,也可以采用离线结算实现影视级动态。
头发建模图
143根
143根骨骼,则是小诤行动自如的缘由。小诤的一只手便有40根骨骼控制变形。NExT 技术团队通过服装的动态表现使用离线解算实现动态效果,配合NExT自研的Poseblend插件制作Blendshapes修型 ,实现影视级动态效果。同时,NExT 技术团队通过基于3A级标准的动捕动画生产管线工具——xMoCap®生产管线,通过动作捕捉技术将生命赋予给数字航天员。
这些努力,让小诤最终实现了“像你一样”。
在这些技术基础上,小诤的声音、语言、表情、动作都能被人工智能所驱动。通过人工智能和场景运用,小诤也可以不断成长,走进任何场景。作为国内首个进入多场景运营的数字人,她正在面向载人航天工程、行星探测工程等中国航天重大项目开展新闻报道,并将以多种形式开展航天科普传播等工作,成为连接中国航天精神和年轻一代人群的桥梁。
小诤的诞生,让实时高保真数字人技术不再局限于实验或设想,这是将前沿游戏技术跨界应用在航天科普上的一次重要实践,是拓展游戏作为“超级数字场景”的全新尝试,也让我们看到游戏技术扩散到社会、造福于更多领域的可能性。
随着计算机图形技术、人工智能技术愈发成熟,实时高保真数字人也将在更多细分领域发挥自身的技术优势,突破真人的物理局限,完成更多有价值的历史使命,我们期待未来能有更多跨行业的融合创新,为航天科普、传统文化承载等社会议题探索新的数字化解决方案。