应用于电竞和社交的VR扩展神器——二次元表情识别转换工具Live2D·Facerig

发表于2016-02-18
评论0 3.3k浏览

 


 

 

作为虚拟现实技术连带产业链之一动作捕捉设备和表情识别系统最近人气直升,比如在动作捕捉方面与HTCVive展开合作的诺亦腾等,今天要介绍的则是前不久在二次元世界引起宅男骚动的Live2D·Facerig事件,为了让很多圈外人士也能清楚明白整个事件的过程,我们还是从头说起。

 

 

VR界名人GOROman1月在自己的推特发布了使用二次元绘图工具Live2D制作的动画娘视频,更有意思的是使用表情识别软件Facerig,将二者合体使用后产生了巨大的化学反应,一句话解释就是,玩家从此可以利用自家的普通摄像头,使用表情识别软件Facerig完成同步表情的实时直播,可用于电竞游戏的直播、视频秀或社交聊天中,配合2次元绘图工具Live2D使用的话,可以创造一个属于自己的二次元角色,动画fan大可以从海贼火影死神中寻找自己喜欢的角色样板。

 

 

这里面的核心部件就是表情识别软件Facerig,目前这款软件在Steam上售价85元人民币左右,而Live2D作为Facerig的DLC在Steam平台售价22元人民币,之前我们从虚拟现实硬件厂商中了解过不少复杂的表情识别设备,比如在HMD头显中放一块电子板,用于识别面部表情,但这款软件其实只需一个摄像头即可识别人脸的轮廓、眉毛动作、眼睛和嘴的动作以及脸部的大部分细微动作。

 

除了二次元妹汁还能创造其他个性联动角色

 

提起Live2D可能很多玩家不太熟悉,但是在业内却是个重磅角色,PSP游戏《我的妹妹不可能那么可爱》、XBOX360游戏《梦幻俱乐部》都使用了Live2D的渲染技术。起初,与Facerig合作是因为VR虚拟现实的普及速度让更多的人关注到表情识别这个要素,而Live2D也恰恰看到表情识别在VR领域的前景,合作之初就全力配合Facerig,虽然Facerig主要进行3D角色的页面转换,但是双方都没想到的是2次元化之后,1个月内就增加了20万点击次数。

 

DLC二次元化可供选择的4位妹纸

 

Facerig的使用也非常简单,购买后安装在PC上重启后即可使用,不过因为对应所有家用摄像头,所以在第一次使用时,需要对准摄像头进行一次UI设置,也就是让摄像头适配一下你的脸部动作,这项设置比较耗时也略麻烦,体验者需要正对摄像头,然后看着屏幕中的二次元形象,按提示动作自己的左右眉毛、嘴、脸部,以完成完美调试,之后才能达到预期效果。

 

Facerig的脸部表情调试界面

 

之前我们为大家介绍过不少脸部识别设备,但都以硬件居多,第一次介绍的这款表情识别软件略区别于以往的游戏范畴,脸部识别设备更多的作用是给使用者之外的其他人看,所以游戏中应用的功能不大,更多的应用将是电子竞技的直播、社交网络实时聊天、以及人机交互中。

 

Facerig安装界面

 

在一般的电子竞技直播时,玩家可能只会看到玩家真人的表情,而应用脸部识别软件Facerig后,玩家甚至可以直接导入游戏中的角色本人,比如LOL中的剑圣,大家可以试想下,剑圣本尊声容并茂的展示自己的5杀场面。

 

 

除了可以把自己的二次元化视频录制后上传YouTube等视频网站,Facerig还可以用于直接在网络社交聊天工具Twitter,以及其他一些可支持的实时直播聊天工具(需调试)。在人机交互方面的应用就更加广泛了,目前各个大学和研究室的VR、AR前沿科学研究领域中,远程操控的人机交互研究中已经实现身体部位的交互,通过HMD头显可以看到安装传感器一方的视觉信息,配合表情识别后,在机器工学发展到一定程度之后,体验者可以直接远程控制另一个人造人,并且通过表情识别技术实现和周围的人进行交流。也许Facerig的下一个版本还会继续带给我们惊喜,我们也会密切关注。

 


 

如社区发表内容存在侵权行为,您可以点击这里查看侵权投诉指引