眼动追踪:第二代VR标配?

发表于2016-11-21
评论3 1.95w浏览

作者:薛冰洁

112日起,Fove 0开启预售。也许你还对这款VR设备觉得陌生,但它却是今年除Oculus RiftHTC VivePSVR三大巨头之外最令人期待的一款头显设备。纵然大半年前FOVE公司还没有足够的资金支持产品的生产,即使Fove 0的一部分显示参数远不及其他VR设备,但是它内置的眼动追踪(Eye-tracking)技术却令人叹为观止,甚至可以据此预测VR的发展趋势:眼动追踪会成为第二代VR的标配。

 

眼动追踪VR是一种怎样的体验

Fove 0内置一整块WQHD OLED屏幕,拥有70Hz的刷新率和约100度的视野角度。熟悉PCVR设备的开发者知道,这并不是很出彩的参数:比起RiftVive90Hz刷新率,近110度的视野角度,左右眼双屏的可调节瞳间距等功能相比,Fove 0的体验效果会有一定差距。

Fove 0的卖点在于其眼动追踪有120帧每秒的高精度红外线虹膜追踪系统,能够实现包括眼神注视、扫视在内的眼睛位置的静态与动态追踪,并完成眼神对物体的平滑跟随。在这样的配置下,头戴设备的光标从固定的屏幕中心变成了眼睛的聚焦中心。即使用户的头部保持静止,也可以选择观看VR设备内不同角色物品或UI,使得虚拟现实体验更接近现实。

 

      自然的人机交互

眼动追踪的实现意味着人机交互有了新的方式。尤其是在VR中,利用眼神作为人机交互会让用户感觉更加自然。例如,对于虚拟现实中的UI交互,利用眼神注视作为光标选择UI,操作会更快,也会让用户感觉更贴近现实,比使用传统的鼠标、键盘、手柄操作都要自然。再如,用户与游戏中的角色或NPC可以实现眼神交流,在FOVE的官方演示中,就有玩家看向NPC的眼睛区域对方会对玩家微笑的功能(如下图)。眼动追踪给出了更多人机交互方式的可能性,加上恰到好处的UI、物体或角色交互设计,会产生神奇的效果。

FOVE交互演示:与NPC眼神交流

      实现景深的模拟

景深(Depth ofField),简单说就是人眼对焦点前后相对清晰的成像范围:当我们目光聚焦于某个物体时,该物体的成像范围会变得清晰,而其他景象会变得模糊。景深对于模拟人眼成像的立体感和真实感都很重要,除了摄影摄像非常注意景深对画面的影响,游戏也会尽可能地模拟景深以追求更好的画面感。但是目前所有游戏所用的虚拟摄像机都是固定焦距,玩家注视不同物体时景深缺少变化。而眼动追踪提供了解决这个难题的方法:根据玩家的观看焦点对物体清晰显示,其他范围的物体则模糊显示,如下图。

FOVE景深模拟:(左)焦点在角色上,背景虚化    (右)焦点在背景栏杆,前景角色虚化

 

      减轻晕动症

另外,运用眼动追踪可以一定程度的减轻晕动症(Motion Sickness)。虚拟现实中晕动症的产生本质是因为VR对现实的模拟不够真实,在眼睛和屏幕的距离是固定的普通VR头显中,玩家只能通过转动头部来改变视角,眼睛也不能对画面进行处理,大脑接收到的身体动态感知和眼观感知自相矛盾而造成眩晕。但在眼动追踪中,首先,玩家通过眼神移动来变换视角从而减少头部运动;其次,眼睛的自动适应机制被开启,眼睛可以模拟真实生活中对景深的感知,画面更真实,晕动症也会减轻。

 

眼动追踪VR对实时渲染的影响

眼动追踪不仅能使画面更真实用户体验更自然,它对于目前PC的高计算量的渲染需求也是一种缓解:计算机可以更极致的处理用户眼睛所关注区域的画面,而降低其他区域的画质处理,这也正是视网膜中央凹成像渲染技术(Foveated Rendering)的原理:GPU不仅可以更精确地处理眼睛所关注区域,让分辨率更上一个新台阶;也不必再精细处理全框的画面,减轻渲染量。眼动追踪适当结合视网膜中央凹成像渲染技术,可以让实时渲染性能提升至两到四倍。

 

技术原理与支持

眼动追踪并不是一个新鲜的技术。旧版的眼动追踪不仅成本高、体积大,而且在大多数眼动追踪的应用中,人眼和眼动追踪传感器的距离不固定,使得追踪不稳定。随着技术的发展,目前的眼动追踪感应器体积已经变得很小,完全可以內镶于VR头戴显示中,并且在VR中可以保证人眼与感应器的距离始终一直,非常适合和VR并存。

目前,眼动追踪技术主要包括传感器(其中包括摄像机和投影装置)和数据计算算法。其中,微型投影仪会将红外线或近红外线投射到用户眼睛,传感器来捕获用户眼睛的高帧速图像与反射数据流,并以智能的图像处理算法处理这些图像数据流,以计算出用户的眼睛的位置和在屏幕上的的焦点。

 

VR设备中的眼动追踪的技术(Tobii公司的概念图)

Fove 0也发布了最低硬件平台要求,包括Intel Core i5-4590及以上的处理器,NVIDIA GeForce GTX970 / AMD Radeon R9 290或以上的GPU8G及以上的内存,和Windows 8.1 64-bitWindows 10 64-bit的操作系统。其中,比起HTC Vive要求更大的内存和更新的操作系统,比起Oculus CV1需要更高端的CPUGPU。可以看出,目前眼动追踪VR的硬件支持要求比其他PCVR设备稍高一些。

 

第二代VR的标配

FOVE的创始人兼CEO小岛由香认为,眼动追踪将会是VR的下一个里程碑。GOOGLE最近也收购了研制眼动交互的Eyefluence公司,不少媒体预测这说明GOOGLE在开发新的无线VR设备;同样在研究眼动交互的Tobii公司也透漏了他们在和VR设备公司合作的消息;SMI公司发布了HTCVive的眼动追踪开发套件;传言Oculus在研究眼动追踪技术的报道也不在少数。用户体验方式的扩展,画面真实感的增强,对渲染方式和画质的提升,眼动追踪会成为第二代VR的标准配置。

 

图片来自网络

参考:

http://www.roadtovr.com/fove-0-eye-tracking-vr-headset-final-specs-pre-order-date/

http://www.tobii.com/tech/technology/what-is-eye-tracking/


(微信扫一扫,开拓VR领域新视野

如社区发表内容存在侵权行为,您可以点击这里查看侵权投诉指引