微软创建最大HRTF数据库,VR/MR声音有望实现“私人定制”

发表于2017-06-27
评论0 1.2k浏览

为了欺骗大脑,真是操碎了心。

把头转到左边,然后再转到右边,你会发现头部的方向不同,我们听到的声音也会有所不同。那么,在VR里听音乐或者玩游戏的时候是否也能实现这一点?

美国声学学会和欧洲声学协会在6月25日-29日期间于波士顿举行第三次联席会议。会议期间,微软语音及声学研究小组的Ivan J. Tashev 和Hannes Gamper称,该研究小组正运用HRTF(头部相关变换函数)创造沉浸式声音场景。

HRTF是一种人耳声音定位算法。跟指纹一样,每个人的HRTF都是独一无二的,所以不同的人对同一种声音的分析也是不一样的。

heix 黑匣网

Gamper说:“声音不仅仅与空间有关,还跟听者本身有关。”声音并非直接进入到听者的耳朵中,听者的头部、肩膀和耳朵的形状都能影响到我们听到的声音。“这些实际因素造就了我们独一无的‘声学指纹’,我们的大脑也不断训练自己去理解和分析。而我们能在HRTF中提取这种‘指纹’。”

高级项目设计师Tashev和研究人员Gamper创建了目前最大的HRTF数据库,当中包含350个人的HRTF。利用这个数据库,他们目前正创建一个更加个性化的沉浸语音场景。在数字图像与现实环境结合的MR场景中,这项技术将把声音和图像结合起来。

heix 黑匣网

Gamper说:“为了创造具有空间感的声音,我们必须欺骗我们的大脑。”

Tashev和Gamper的这个项目一共有三个部分:空间感声音、头部跟踪和空间听觉个性化。空间感声音是指过滤从某个地方传来的声音;头部跟踪是指声音随头部的转动而发生改变;空间听觉个性化是指每个人独一无二的定位声音方向的能力。

Tashev说:“我们的空间声音系统和空间听觉过滤将改善用户的感觉,他们就知道,‘嘿,这个声音是从那边传来的’。个性化的目的是使场景更加可信、准确,改善场景的质量。”

为了实现这种个性化,研究人员需要收集大量的数据。HRTF数据库中的350人都已经进行了高分辨率3D扫描,包含耳朵、头部和身体等细节信息。为了保持高度个性化,同时收集较少的数据,研究人员可以记录用户的头部尺寸等数据,然后从数据库中找到最接近的模型。

如社区发表内容存在侵权行为,您可以点击这里查看侵权投诉指引