中国电子技术网

设为首页 网站地图 加入收藏

 
 

人脸跟踪如何让VR变得更好

关键词:人脸跟踪 AR VR

时间:2021-03-23 10:17:15      来源:网络

如今的 VR 更多还是运用于电影游戏这样相对成熟的领域,想象一下,若能将 VR 运用于社交那将会怎样呢?或许,人们只需要回到自己房间带上 VR 眼镜,从此天涯变咫尺,朋友就像真正在身边一样。

如今的 VR 更多还是运用于电影游戏这样相对成熟的领域,想象一下,若能将 VR 运用于社交那将会怎样呢?或许,人们只需要回到自己房间带上 VR 眼镜,从此天涯变咫尺,朋友就像真正在身边一样。
 
专家称,用于虚拟现实头盔的新型面部跟踪系统可能会改变用户沟通方式。

HTC最近发布了一套新的Vive虚拟现实耳机追踪器,其中一款可以追踪面部表情和嘴部运动。这是使虚拟现实更具响应性和互动性的日益增长的趋势的一部分。
 
科技政策智库信息技术与创新基金会(Information technology and Innovation Foundation)的政策分析师Ellysse Dick表示:“要想把VR从一种新奇或小众工具完全转变为一种广泛使用的消费技术,拥有更真实的体验很重要。”
 
“它将允许更多有意义的互动和丰富的体验,将扩大教育、工作协作和娱乐等领域的市场。”
 
近日,HTC发布了一款VIVE 追踪器 (3.0)及 VIVE 面部追踪器。HTC表示,相较于前代产品,全新推出的第三代 VIVE 追踪器电池续航能力增加 75%,重量减轻 15%,覆盖体积占用减小 33%。VIVE 追踪器 (3.0)将延续其备受欢迎的前代产品在动作捕捉、影视制作、运动康复和训练、医疗、企业培训等领域的广泛应用,支持 VR 虚拟形象的全身追踪,可以无缝集成物理对象搭建扩展现实环境。VIVE面部追踪器可以追踪多达38种不同的面部动作,当它与VIVE Pro Eye配对时,用户可以开启全面部追踪功能。

该设备的响应时间在10毫秒以下,并使用双摄像头捕捉你的下半张脸的运动。由于红外照明,它也可以在低光环境下跟踪。VIVE表示,这款面部追踪器将于3月24日上市,售价129.99美元。
 
VIVE面部追踪器通过嘴唇、下巴、牙齿、舌头、脸颊和下巴的38种混合形状精确捕捉表情和手势。哪怕是一丝微笑,也会清晰捕捉到。
 
但面部追踪器并不适用于所有HTC的设备中。该公司表示,它将兼容专业级别的Vive Pro系列产品,但不兼容面向消费者的Vive Cosmos。
 
其他公司已经将面部追踪技术整合到虚拟现实设备里。Magic Leap One和微软的HoloLens都有表情跟踪功能。
 
还有一家名叫 Veeso 的国外创业公司也在这么干。具体来说,Veeso 是一个类似于普通眼镜盒子的移动虚拟现实头显,支持安卓和 iOS。Veeso 会为标准头显添加两个额外的内置摄像头。其中一个摄像机被安置在两眼之间,检测的部位包括瞳孔、眉毛以及眼睑。另外一个摄像机则悬挂在设备底部,可以识别下颚、嘴唇和口型变化。
 
现在市面上绝大多数的 VR 游戏都没有人物表情捕捉功能,虽然面部表情捕捉技术已经在电影领域运用了很多年,但其设备即为复杂,需要在人脸上贴很多标记点,并用多个摄像头进行跟踪拍摄,显然,其不适合 C 端消费者使用。


但是当我们在虚拟现实世界中社交或者玩社交类游戏时,表情跟踪显示功能却又显得尤为重要,比如在玩杀人游戏时,我们可以从玩家的表情中找到蛛丝马迹等等。
 
现在Veeso已经推出了几款尚未上市的应用,其中一款是 VR 视频通话 app。该应用下的人们坐在一个虚拟的房间里进行聊天,个人形象会被卡通松鼠或者青蛙代替。但是当用户说话时,用户表情就会实时而准确的还原在卡通形象上。当然,Veeso 的这项功能还能被运用在扑克、猜谜等社交游戏上。
 
一个激进的飞跃
 
专家表示,未来面部跟踪可能会给虚拟现实带来根本性变化。软件用户界面开发先驱、argodesign首席创意技术专家Jared Ficklin表示,举例来说,头戴式设备可以了解用户对界面的反应,并据此进行调整。
 
 “想象一下,看着一个物体,用一个小小的手势来选择它,而不是试图用光标四处移动。或者将声音、眼神和手势结合起来,可以实现非常自然的互动。你也可以想象另一个方向和更小的,更少社交性的视觉线索的发展。”
 
菲克林介绍,用握紧脸颊或拉嘴角这种表情可以映射到“选择”和“返回”等交互动作,这让一些人在公共场合进行计算,而又不会让人注意。
 
“如果你正在使用可穿戴的移动电脑,尤其是以眼镜的形式,这种被社会接受或被隐藏的计算能力将变得非常重要。”
 
面部解锁通信
 
阅读表情是虚拟和现实生活中交流的关键。肢体语言专家Patti Wood表示,人脸可以产生21种基本的面部表情,虚拟现实技术可以解读这些表情。在36块用来产生面部表情的肌肉中,只有一小部分用于微笑。

“它将允许更多有意义的互动和丰富的体验,将扩大教育、工作协作和娱乐等领域的市场。”
 
Wood:“肌肉的精确数量取决于研究人员如何定义微笑。”
 
Ficklin:“面部表情跟踪可能会从根本上改变用户的虚拟现实体验,尤其是那些在远程会话中使用虚拟角色与他人聊天的用户。”
 
“这完全是关于非语言交流的重要性,”“将面部表情映射到用户的化身上,意味着与他们会面的人拥有更多非语言交流渠道,这是我们在面对面聊天或视频聊天中所期待的。”他们可以看到对方的反应。”
 
如果是那样,那就真的和面对面交流没啥区别了…

  • 分享到:

 

猜你喜欢

  • 主 题:数据中心400V DC连接器及电路保护
  • 时 间:2022.05.17
  • 公 司:Digi-Key & SCHURTER(硕特)

  • 主 题:恩智浦交错并联式Boost PFC+无感FOC控制系统介绍
  • 时 间:2022.05.19
  • 公 司:NXP

  • 主 题:用于100瓦以上AC/DC USB-PD多口充电器的谐振拓朴+GAN MOS方案: TEA2016/2017 + TEA2095
  • 时 间:2022.05.26
  • 公 司:NXP