新老男人快报新看点
首页 >> 科技咖 >> 正文

Ultraleap手部追踪范围,采用高通XR2参考设计的VR

日期:2020-11-05 09:37:40 来源:互联网 编辑:小狐 阅读人数:278

映维网 2020年11月05日从最早的硬件原型到最新的Gemini双子座追踪平台,Ultraleap的手部追踪硬件和软件已经取得了长足的进步。本文将介绍相关的原始传感器数据是转换成能够用于应用程序的有用信息。

1. 手部追踪硬件

从硬件的角度来看,手部追踪的原理相对简单。设备的核心是两个摄像头和一定数量的红外发光LED。它们追踪波长为850纳米的红外光,亦即可见光光谱之外。LED的脉冲与摄像头的帧速率同步,从而能够大大降低功耗并提高强度。

Ultraleap的手部追踪模块Leap Motion Controller和Stereo IR 170 Camera模块遵循这一原则,采用高通XR2参考设计的VR/AR头显同样如是。

Ultraleap手部追踪范围,采用高通XR2参考设计的VR(图1)

Ultraleap手部追踪范围

广角镜头用来创造一个大交互区域,并允许设备在所述范围内追踪用户双手。Leap Motion Controller一个从10mm-60mm或更大的交互区域,常规视场140度x120度。Stereo IR 170 Camera模块支持更大的交互区域,从10cm-75cm或更大,常规视场则达到170度x170度(最小160度x160度)

Leap Motion Controller采用倒金字塔形态,Stereo IR 170则选择倒锥体形状。这是由双目摄像头的视场相交而产生。

手部追踪设备的USB控件将传感器数据读入自己的本地存储器,并执行任何必要的分辨率调整。相关数据通过USB传输到Ultraleap的手部追踪软件。

Ultraleap手部追踪范围,采用高通XR2参考设计的VR(图2)

所述数据以近红外光谱的灰度立体图像呈现,涵盖左右两个摄像头。通常,你能看到的只有被设备LED直接照亮的对象。然而,白炽灯泡、卤钨灯和日光同样会以红外线照亮场景。另外,你可能会注意到,即便在可见光谱中为黑色,诸如棉布衬衫看起来都可能为白色。

2. 手部追踪软件

一旦图像数据流式传输到PC,将执行繁重的数算。尽管普遍存在误解,但Ultraleap的手部追踪平台并不生成深度图,而是将高级算法应用于原始传感器数据。

Leap Motion Service是用于处理图像的PC软件。在补偿背景对象(如头部)和环境光照后,所述工具将对图像进行分析并重建设备“所见的”三维表示。

接下来,追踪层匹配数据并提取诸如手指之类的追踪信息。Ultraleap的手部追踪算法解析三维数据,并推断被遮挡对象的位置。软件同时会采用滤波技术以保证数据的平滑时间一致性。Leap Motion Service将结果(以一系列帧或快照表示,并且包含所有追踪数据)输入传输协议。

通过所述协议,Leap Motion Service通过TCP或WebSocket与Leap Motion Panel,以及本机和web客户端库进行通信。客户机库将数据组织成面向对象的API结构,帧历史,并帮助函数和类。应用程序逻辑将结合Leap Motion输入,并允许基于运动控制的交互体验。

本文相关词条概念解析:

追踪

借助视觉、触觉及肌肉运动觉协同实现的连续控制活动。它要求操作者在恰当的时间操纵一种控制器,使控制的成分与运动着的目标保持吻合。追踪任务在某些情况下由操作者定速,而在另一些情况下则由外部定速,操作者不能控制必须完成的任务的速率。追踪活动分为尾随追踪和补偿追踪两种。尾随追踪显示器的目标是可移动的,控制成分也是可移动的,两者间的距离表明两者之间实际存在着的差异;而补偿追踪显示器的目标是固定的,控制成分则是可移动的,两者间的差异表示两者实际上存在着的误差。由于尾随追踪显示器较为形象,操作者能预见目标移动的趋向性,因而在一般情况下,尾随追踪显示器无论在速度还是在准确性方面都优于补偿追踪显示器。

网友评论