2017年,NExT Studios开启高保真数字人的国际合研,之后逐步探索出一条自研的数字人制作道路,两条技术管线——xFaceBuilder®数字角色制作管线和xMoCap®3A级动捕动画全流程管线不断迭代,持续深耕数字人制作领域。
Siren是由NExT Studios与Epic Games、Cubic Motion和3Lateral等业内各领域顶尖公司联合开发的高保真、实时、可交互数字人。Siren的虚拟形象是采集自一个真实存在的女性,但是Siren可以由任何其他人来驱动。她在人物面貌细节的真实性上都有着突破性的进展。数字人可以被很清楚看到人物皮肤的细节、眼睛的转动、说话的神态,甚至脸上各种各样的细纹。不管是毛孔、细纹等皮肤质感,还是神态上的一颦一笑,都宛若真人。
了解更多Matt AI旨在突破使用AI技术实施驱动高保真数字人的界限。提供了一种简单有效的基于深度学习的方法,通过语音与面部动作捕捉生成几乎相同质量的面部动画,使得逼真精美的虚拟人的面部动态更能准确的表达人的微妙情感。Matt AI亮相SIGGRAPH Asia 2019 Real-Time Live!舞台,完成了精彩的演绎。
了解更多小诤是新华社数字记者,全球首位数字航天员。小诤的皮肤充满细节,有10万根发丝,143根骨骼,脸由5千多个微表情驱动……在这背后,是NExT Studios 基于自研的xFaceBuilder®数字角色生产管线,从身体、头发、服装、配饰等精细建模,到人脸绑定、动画制作,最终利用NExT自研的xMoCap®3A级动捕动画全流程管线,给小诤赋予了生命。
了解更多腾讯集团高级副总裁马晓轶Steven的高保真数字人,由NExT Studios自研,首次实现影视级全流程跑通,努力突破“虚实结合”3D高保真制作的挑战。
基于NExT自研的xFaceBuilder®数字角色制作管线进行毛孔级皮肤制作、毫米级服饰制作。为了达到从形似到神似的跨越,制作700多个关键表情库,使用本人参考视频动捕驱动加手工驱动相结合的方式制作动作。HDR还原,逐镜头灯光打磨,实现真实场景与虚拟人物的完全融合。
xLab是NExT Studios旗下Motion Capture Lab(动作捕捉实验室)和Photogrammetry Lab(照相建模实验室)的总称。两个实验室分别对应自研的xMoCap®3A级动捕动画全流程管线和xFaceBuilder®数字角色制作管线,同时覆盖了硬件和软件,将现场面部扫描、动作捕捉和后期动捕数据处理无缝集成到一起,从而实现“一站式”从面部、身体动作捕捉到最终动画输出。
影视级现场动捕解决方案,提供自研的xMoCap®3A级动捕动画全流程管线技术支持。xMoCap®集角色绑定、动作捕捉、动画工具、资产管理及动捕数据库为一体,支持大型团队协作、云端海量资产管理、高保真3D角色动画生产,符合3A游戏的开发需求。
了解更多摄影棚级扫描环境,提供自研的xFaceBuilder®数字角色制作管线支持。xFaceBuilder®通过极致的算法优化,便利工具的研发,提升了高保真人脸制作效率,打磨成了一套影视级别的建模、绑定、动画在内的高保真人脸制作全流程管线,也兼具灵活性。
了解更多QuickSilverX引擎是历经12年全自主研发,基于PC平台的自研游戏引擎,在影视级渲染,光线追踪,高质量角色渲染和模拟方面有行业领先的积累。
QuickSilverX引擎现支持的《天涯明月刀online》和《无限法则》在全球累计服务超过5000万用户。
Dawn是腾讯游戏CROS自研的GPU分布式烘焙系统,该系统实现了业界领先的全局光照算法,并利用最新的GPU硬件光线追踪能力,同时支持多机多卡分布式烘焙,在提供高保真全局光照效果的同时将烘焙效率提升了数十倍,显著提高了游戏场景制作的迭代效率。
Dawn GPU分布式烘焙系统目前已在腾讯游戏的数十个在研项目中落地,为在研游戏项目提供了优质烘培服务,同时加速游戏制作。
Superman 是腾讯游戏CROS自研的一站式角色动画管线工具框架,覆盖美术制作工具,引擎,AI技术,动捕能力,以工业化模式管理DCC角色到动画的数据生成链路。适合各类高精度角色项目开发,能够帮助美术师在虚拟角色的五官刻画、情绪、口型、肢体多维度上充分地发挥与标准化,助力游戏业务提升研发效能。
Superman目前已经成功应用到了《QQ飞车》、《天涯明月刀》、《暗区突围》、《王者世界》等多个大众耳熟能详的游戏以及数字人项目中。
全自动LightMapUV展开工具是腾讯游戏CROS自研的LightMapUV(2UV)自动生成工具,适用于需要使用静态光照或环境光遮罩场景的项目。工具通过结合计算几何与人工智能技术,实现了从模型切割、平铺展开到UV齐整与装箱的全自动流程,平均可节省90%以上的人力。
全自动LightMapUV展开工具现已广泛应用于腾讯20余款自研游戏,大大提升了游戏项目的生产效率。
基于Houdini Engine 的 PCG 流程设计框架和HDA库,充分解构美术制作与流程设计,让美术使用更方便自由,项目的迭代更快捷、更安全、更高效。
PCG具有广泛的应用场景,基本上所有的数据生成场景都可以使用,典型场景如大地形的自然地形地貌、植被、河流、路网、建筑、城市、村庄等。适用于工作量大、重复性高、质量要求统一,需要反复迭代修改的场合。在某重点自研大型大世界项目中承担地形迭代主要框架的角色,以及在其他多个内外部项目中起到不同的作用。
GVoice是游戏语音跨平台一站式解决方案,在技术上将应用层,系统层,芯片层全生态链打通,确保游戏体验最佳,硬件能耗最低。
游戏语音GVoice围绕多种游戏场景打造了实时语音、语音消息、语音识别、范围语音、3D语音、文明语音、魔音、未成年声纹识别系统等行业领先的产品能力,现已成熟应用于《王者荣耀》、《和平精英》、《英雄联盟》、《PUBG - MOBILE》、《Call of Duty: Mobile》等全球上千款产品。
START ENGINE 是腾讯START研发的面向未来的原生云游戏技术解决方案。START ENGINE目前能做到实时高精度生物渲染,高精高密植物渲染,实时树木动态仿真以及GPU加速的实时流体仿真。START ENGINE在游戏领域通过接入更高标准的原生云游戏能力,为游戏品质带来绝对提升,使游戏实时渲染的画面品质也能获得影视级水准;在影视领域,START ENGINE 的超强云端算力能够帮助制作者大幅提升效能,提高制作效率。
了解更多云游戏是5G时代的代表性应用之一。云游戏可以视为传统游戏的重大颠覆性升级,用户不必下载游戏,就能够在电视、浏览器或者手机端畅玩游戏大作,并且可以实现多端存档和数据共享。在技术上,云游戏脱离了硬件终端限制,直接在云端服务器运行,实现了免配置、免下载、跨终端。
云游戏目前已在腾讯先锋云游戏平台上落地。在数字长城项目中,全球首次通过云游戏技术,实现最大规模文化遗产毫米级高精度、沉浸交互式的数字还原,成为前沿科技和数字技术在文保领域实现创新应用的又一标志性范例。
游戏数据库 TcaplusDB 是腾讯云专为游戏设计的 NoSQL 分布式数据存储服务,能很好地支持全区全服和分区分服,并针对游戏爆发增长和长尾运维特点提供不停机扩缩容、备份容灾、快速回档等全套解决方案,安全可信赖。
目前应用于《王者荣耀》、《穿越火线》、《火影忍者》等数百款流行游戏。