腾讯游戏语音GVoice携手vivo、高通骁龙 率先推出芯片级游戏语音处理技术

Image

为了让玩家体验优质语音,畅快开黑,腾讯游戏语音GVoice与vivo联手打磨出基于第五代Qualcomm AI引擎的游戏语音处理技术。


Image

[ 合作签约仪式现场 ]


近年来,实时互动游戏经历着前所未有的快速发展,越来越多玩家在游戏时需要团队作战,位于不同地点的玩家对实时传输语音质量的要求日渐提高。流畅无卡顿、且玩法丰富的游戏语音沟通逐渐成为游戏长久运营的必要条件。不同于传统IM软件,手游场景下的语音通话对“降能提效”有更高的要求:


(1)使用传统IM软件的用户一般会选择较为安静的环境通话。而玩家在游戏时很可能身处嘈杂环境,因此手游语音通话面临着来自外界噪音、游戏内背景音乐及音效的降噪挑战。


(2)一般情况下,手机上的语音算法往往会运行在手机的CPU上,这样会大量消耗CPU内存等处理计算资源。而游戏本身已经占用大量计算资源,此时需要游戏语音利用最小的性能消耗,实现最佳的语音体验。


为满足游戏每日海量的对局交流,降低性能消耗的同时进一步提升玩家的语音体验,腾讯游戏语音GVoice联合全球智能手机品牌vivo、高通公司展开深层次技术优化,利用第五代Qualcomm AI引擎联合推出游戏语音处理技术,旨在从源头提升语音体验。


11月2日,腾讯互娱研发效能部副总经理李从兵,及vivo软件平台部总经理杨进宁于深圳市举行了游戏语音技术合作签约仪式。此次签约标志着双方将在游戏语音领域展开深度合作。现阶段在降噪去杂优化、性能消耗优化等方面已有一定的成果,后续双方将在回声消除、声纹识别等方面持续开展合作。


(1)降噪去杂优化


GVoice算法针对游戏场景进行深度优化,在游戏场景下比传统IM软件的语音处理算法有更加优异的音质表现。传统IM软件(VOIP)算法的平均杂音时长比例为11.5% ,而GVoice 的平均杂音时长比例为3.4%。利用Qualcomm AI引擎上的Qualcomm® Hexagon™ DSP运行GVoice算法后,降噪效果更加明显。


Image
[ 图一:GVoice & VOIP杂音时常比例对比 ]


Image
[ 图二:未处理语音波形图 ]


Image
[ 图三:GVoice优化后波形图 ]


通过对GVoice topology位置的移动,vivo深度优化运行在Qualcomm AI引擎上Hexagon处理器里面的GVoice参数,以针对游戏场景取得更佳效果,如下图所示的某场景下:对比于传统的算法(左通道),vivo和腾讯游戏GVoice合作的腾讯游戏语聊定制优化通路(右通道)在语音还原(青色框内)和噪声压制(黄色框内)的表现上面都有提升,其降噪效果在部分场景可以提升10dB左右。


Image

[ 图四:vivo深度优化算法在噪声环境下,语音还原 ]


(2)发送语音效果优化


在玩游戏的时候,游戏的背景音效也是提升游戏体验的一种方式;同样的,队友之间的语音互动显得非常重要;传统将算法运行在CPU上面,手机端为了获取更好游戏背景音效,不得不牺牲部分场景下的发送语音效果,导致队友之间的聊天有时变得断续;GVoice的应用使手机端和游戏端的算法完全绑定,vivo仍然可以通过深度优化运行在Qualcomm AI引擎Hexagon处理器里面的语音算法参数,得到更好的语音聊天效果。


下图左通道表示传统算法的语音通话效果,右通道表示vivo和腾讯GVoice合作的腾讯游戏语聊定制优化通路,通过左右通道对比可以明显看出:不管本地游戏背景音效是否打开,vivo深度优化算法均可获得良好的语音聊天效果,其出现通话断续的概率远远低于传统算法(青色框内),而且对于队友之间的语音清晰,也不会出现一些非预期的效果(黄色框内)。


Image

[ 图五:vivo深度优化算法在开发本地背景音效时的上行语聊 ]


(3)性能消耗优化


开启游戏及GVoice语音后,GVoice中的降噪算法不再运行在CPU上,而是运行在Qualcomm AI引擎的Hexagon处理器上,整机耗电量下降20mA/s,GVoice所占的CPU资源在原有基础上减少约30%。


基于在游戏语音技术领域的探索与尝试,此次合作将加快游戏语音算法核心技术领域的研发成果落地于商用产品的步伐,赋能越来越多的游戏开发者,确保亿万玩家在移动平台上早日获得更优的游戏体验,同时也欢迎其他优秀厂商与我们合作探索更多技术可能。


评论区留言,聊一聊你的游戏语音使用体验,告诉我们你希望GVoice和vivo在之后的合作中带来怎样的惊喜改变。


Image