Fundamental VR:用触觉反馈打造VR手术系统

发表于2017-06-04
评论0 1.5k浏览

VR一直被用于创建全新的世界,而现在越来越多人发现,VR在教学方面有着非常大的潜力,尤其是一些在现实世界中比较难实施的教学。现在有一家Fundamental VR的公司,想用触觉反馈打造VR手术系统。

将VR用于培训下一代的医生,就是一个很好的例子。美国凯斯西储大学就宣布,计划把VR带入学校的解剖学实验室中,用于教学用的尸体上,并通过微软HoloLens来进行教学。戴着HoloLens的实习医生们可以看到3D人体不同的层次——皮肤、肌肉、血管等等。


而一家英国公司则决定在该领域更进一步。这家名为Fundamental VR的公司决定在VR中重现实际的手术过程,通过触觉反馈让医学生感受手术过程中人体的触感。

Fundamental VR希望通过这种方式,可以让医学生在技巧还未成熟之前避免在真正的病人身上练习,减小风险。

公司研发的这套系统包含一台HoloLens头显,以及一支连接到标准机械臂上的触笔。在VR中,这支触笔看起来就是一支注射器,通过一个按钮可以排空注射器,另一个按钮可以重新填满液体。

在现实世界中移动触笔就可以在VR中移动注射器。当虚拟的针头接触到虚拟的皮肤、肌肉或者骨头时,不同介质带来的不同的阻力能够通过触笔传导给使用者,让他们对真实的人体有逼真的感受。

这个系统最基本的构思就是,人体不同的部位,像是脂肪和骨头,在感觉上应该是不同的。

Fundamental VR的首个系统用于膝关节内窥镜手术中。这个系统为制药公司Pacera专门打造,让临床医生们学习如何处理公司新开发的一种麻醉药Exparel。

和许多传统的麻醉药不同,Exparel不是注射一次之后就会扩散到全身,而是需要在不同部位多次注射,且药物会聚集在注射的部位。对于一些外科医生来说,手术流程的改变很难掌握,因此VR教学也就应运而生。

通过对膝关节的多角度成像,公司打造出了一个完整的3D模型。现成的触觉设备被用于在系统中替代注射器,当然也可以根据需要替代任何需要的工具。

医生的全程参与

打造一个真实重现手术体验的系统需要人类智慧和高科技的融合。在建造VR膝关节置换手术时,Fundamental VR在每一个环节都咨询了外科医生的意见。

“手术是一个科学的过程,同时也是一种艺术。而有艺术的地方就会有不同的见地。如果要打造一个大部分人都赞同的标准是很耗费时间的。在这个过程中,我们已经做好了迎接挑战的准备,比如如何重现不同肌肉的纹理和血管,以及这些部分在手术过程中应该如何变化。” Fundamental VR的联合创始人Richard Vincent在采访中表示。

接下来,外科医生们还要参与如何将实际的手术经验转换为VR的版本。这就需要使用公司的触觉反馈开发引擎来连接真实和VR的世界。

“我们打造了一款校准工具,这是我们软件的核心,可以让我们迅速和多人沟通一些困难的点。一开始,我们的实验人员会说‘感觉像针头插入了一个橘子’,或者‘像刺入了一只鸡’,在经过一些调整后,大部分人都会赞同和真实手术中的感觉差不多,”Vincent说。

Stan Dysart是一名关节置换手术专家,他参与了整个在VR中重建手术感觉的过程。他会为人体不同的元素分配一个号码,以对应一种触觉的质感。

“触觉设备有一个打分系统,我可以帮助开发人员决定针头在关节囊中是什么样的感觉、在肌肉、脂肪、在骨膜、骨头中是什么感觉,”他说。他举例说明,如果是在纤维囊中,插入针头的感觉就像插入塑料。

“关节囊具有一定的阻力。在针头不断深入时,这种阻力会释放。在VR中我们能够模拟出这种触觉的变化,并且在膝盖不同部位的触觉还不一样。在对这些不同的触觉编号之后,电脑就能够做出相应的处理——编号的数值越高就代表医生遇到的阻力越大,”Dysart说。

当一众外科医生都对VR中不同人体部位的触感取得一致意见后触觉系统就会将编号转化为VR用户在使用虚拟注射器时的感受——这个过程还需要考验GPU的处理多场景的能力。

根据Dysart的说法,这种虚拟膝关节手术系统已经在美国国内多个医学中心获得了使用。系统帮助医生们不断精进自己的技巧。

“外科医生们都很喜欢这种方式,因为可以不断地练习,同时不会伤害到患者。这是最重要的一点。在真实的手术中,我们每动一下手术刀都需要考虑后果——这一刀要切多深?切在哪里?在哪里注射?因为膝盖上遍布神经和动脉。

“在VR中,如果不小心将针头捅的太深,也没关系。医生会知道自己操作不当,然后一遍一遍反复练习来获得正确的技巧。这就是这一系统最美妙的地方。”

除了膝关节手术外,Fundamental VR目前还在开发另外三种手术流程,包括软组织手术和脊椎手术,有机会再今年夏天上线。

理想的教学工具

Fundamental VR已经在和许多医学教育机构洽谈合作,希望能够将触觉反馈VR系统用于教导医学生提升手术技巧,或者让医生学习新的手术疗法。目前,Fundamental VR专注于美国市场,同时也在和英国以及其他国家的医疗机构建立联系。

除了为客户量身打造VR系统之外,公司希望在未来能够建立一个常见手术过程的收藏馆,通过订阅的方式让世界各地的医生有机会接触到这些资料。除了常规手术之外,公司也会让医学生接触到一些比较少见的解剖案例和手术环境。

“比如阑尾切除,这是最常见的手术之一,就算不用VR这种方式来展示,医学生也会有很多机会来观摩手术过程。但是神经学方面的手术就不同了,有些手术可能一年之中都不会遇到3次,但是这些手术通常都非常重要,关乎生死。需要接受这些手术培训的医生不多,因此让他们在VR中熟悉这些手术是一种非常好的方式。

触觉系统并不适用于所有医生——一些资深的医师会认为VR模拟出的场景太过像电脑游戏,但Fundamental VR认为,这就和让飞行员接受飞行模拟一样。

“我们在不同的展会上和很多外科医生聊过,他们在真实的手术中会遇到很多紧急的情况,而且通常只有几分钟的时间来做出决定。如果通过我们的系统在事前进行训练,无论如何都会在紧急情况真实发生时处理的更加游刃有余,”Vincent解释说。

在VR中练习,而不是病人的身上

当MR和VR变得更加平价和普遍时,在病人开始手术之前,就可以用触觉和VR来制作特定的模型。

“在手术之前,如果我们可以在这些模型上事先讨论如何处理器官、如何移动它们、每一步骤的计划是什么,手术如何提高效率,这对病人的安全是非常有帮助的,” Fundamental VR的联合创始人Chris Scattergood表示。

而VR医疗的未来,将会是两者的结合:一方面,是教导全世界范围内的医学生和职业医师们如何进行数量众多、常规的手术。另一方面,也会将VR用于让水平较高的医师们理解一些非常少见的手术过程。

无论是哪个方向,医生们都能够在VR中学习到必要的手术技巧,在真实病人的身上操作之前,最大限度的提升自己的手术水平。

如社区发表内容存在侵权行为,您可以点击这里查看侵权投诉指引