专业人士在工程领域需要用到手指追踪技术的5个使用案例

Posted by LIU chujun on Nov 15, 2022 10:33:27 AM

Maïssoun-fingertracking-ART

许多行业都在其流程中采用了AR和VR技术。对于许多用例来说,传统的手持式控制器已经可以满足产品设计和生产过程的需要。但对于一些精确的用例,增加VR手指追踪和触觉反馈才能达到高维度VR体验的目的。

例如,您沉浸在汽车的CAD模型里又同时进行着人体工程学研究。实时可视化您的三维数据是一回事。但是,无实物与您的模型进行互动,感受每一个零件的位置又是另一回事。在这篇文章中,我们将会探讨逼真度和互动性对专业人士来说为什么是VR体验的必备条件。

什么是VR手指追踪?

手指追踪是一种追踪方式,其目的是在一些精确的用例中用用户的手来代替VR控制器。一般来说,手指追踪可以被认为是手部追踪系统的一个特殊类别。在这种情况下,当VR与CAD模型进行交互时,可以实时追踪手指的位置,且不受速度或手部运动的限制。

基于手指追踪的互动与触觉和力反馈兼容的设备可以为用户营造一个完全沉浸式的体验无论是在视觉上还是实践上。在与您的1:1 CAD模型互动时,您将能够感受到3D模型不同部分的振动、质地和硬度。这样在抓取虚拟物体的时候就可以为用户的手指创造阻力,以增加互动的真实性。

利用交互式虚拟现实技术准确追踪手指运动存在很多方式。例如TechViz使用的是VR手套,我们的软件可以与许多追踪传感器设备兼容,如ART手指追踪Vibro触觉手指追踪、Cyberglove或UltraLeap

New call-to-action

VR手指追踪和VR手部追踪之间的区别是什么?

当VR头显相机或外部传感站跟踪您手的位置、深度、姿势和方向时,就会产生手部追踪。追踪数据由VR系统来收集,并把用户的手和它们的运动转化为在VR环境中的三维表现。即使手部追踪方案包括感官和力反馈装置,它们通常也不如单个手指追踪更加精确。这两种跟踪方法的选择取决于您的使用情况和您的虚拟现实系统。

VR手指追踪和手势识别之间的区别是什么?

通过使用机器学习、深度神经网络和基于模型的追踪,Oculus和谷歌等几家公司目前能够识别手势。然而,这项技术的目的是识别特定的手部动作和姿势。如果您有特定的用例需要精确的手指追踪,例如在虚拟现实中模拟数字仪表盘,或进行驾驶舱人体工程学研究,手势识别将不适用,因为您无法用手指精准地触摸到屏幕。

1*x9Rq_i0s-gfzwrFT9ucuJg

手指触摸检测和手指追踪之间有什么区别?

手指追踪与手指触摸检测是不同的。使用手指触摸检测,您仍然需要使用VR控制器。控制器可以检测到您的手指,而不需要在您放置拇指、食指或中指的按钮或模拟摇杆上进行任何按压。这使您能够在VR体验中做出更自然的手势。这是一种比较简单且具有成本效益的方式在VR中实现基本的手势识别,如指向、挥手和竖起大拇指

但是手指追踪的真正含义是:系统可以在不使用控制器的情况下追踪您手指的个别动作。

5个VR手指追踪的经典使用案例

沉浸式VR在各行业的受欢迎程度一直在稳步上升。以下是与"传统 "VR手部追踪相比只有使用VR完整手指追踪系统才能产生的使用案例

1. 有意义的人体工程学和可达性研究

手指追踪手套的触觉和力反馈对于汽车人机互动的虚拟现实评估场景至关重要。例如,了解驾驶员是否能够在不离开道路的情况下访问汽车的所有控制装置是非常重要的。在驾驶舱内进行有意义的可达性研究时,只有采用带有触觉的VR手指追踪才能进行。

2. 在三维模型中加入非三维元素

VR中的触觉反馈和手指追踪对于车载人机界面(HMI)的用户体验评估至关重要。特别是涉及到数字仪表盘、数字信息娱乐系统或导航系统的交互时。其目的是模拟独立二维应用的触摸感应互动,并将其集成在虚拟模型中。

3. 完全沉浸式的设计评审

采用手指追踪技术进行项目审查和演示,可以加快产品设计的进程。它使每个利益相关者都能直观地参与CAD模型的评审,即使他们几乎没有使用VR的经验。在VR的产品设计中,手指追踪提供了更精确且安全的方式与虚拟对象进行互动。

4. 特殊虚拟培训场景中无需使用VR控制器

VR中的手指追踪能够实现与VR模拟的高保真互动,并为您的培训场景增加真实价值。当工人需要在场景中用到手指时,此功能就变得尤为重要,例如技术人员的维护场景或装配线培训。如果使用VR控制器,您依然会感受到VR培训场景和现实世界之间的差距。而不使用控制器的虚拟现实模拟有助于思维和手的协同使用,可以有效避免混乱和错误从而提供更准确的结果。

5. 远程协作促进交流效率

手和手指的动作越精确地再现到VR中,交流就越容易。在VR远程协作中添加手指追踪功能,您在VR中的化身就可以再现您在现实世界中与同事解释时的手势。将非语言交流添加到VR中,能够实现逼真的对话,从而减少沟通不畅并提高整个团队的效率。

为什么手指追踪对工程领域很重要?

Chujun-avec-sensegloves-V2

在VR中采用手指追踪技术,可以直接用手指与CAD内容进行交互,而不需要VR控制器,并通过触觉和力反馈装置为VR模拟增加另一层真实感。因此,在工程领域方面它具有很多优势 :

  1. 增加了VR体验的真实性: 感知真实性的提高帮助您更容易对虚拟原型的用户体验、可制造性或人机工程学做出决策。
  2. 更深层次的现场感和沉浸感: 在VR中再现您的手部活动会向您的大脑表明,您所经历的都是真实的。完全沉浸式的VR对模拟和学习场景来说是非常有益的并且它创造的测试环境是真实而又吸引人的。
  3. 更好的用户体验: 专业用途的AR/VR会涉及各种不同的用户,从设计师到工程师再到技术人员。手指追踪与触觉相结合,使交互不需要遵循陡峭的学习曲线。相对于依靠控制器的交互,手指追踪的每一个交互都要实行不同的编程。另外,与未经训练的VR用户合作,对于测试VR原型的用户行为至关重要。
  4. 为特殊的使用案例提供更精确的工具:因为您的手指有27个自由度,能够感觉到很小的物体,因此是很好的工程学工具。抓住、捏住和扭动手指的动作使工程学的研究变得更加直观。
  5. 与同事的合作变得更加容易:和手互动的方式有很多种。比如指向某个东西的行为比按下一个按钮要自然得多,这对VR协作有很大帮助。

哪些VR系统支持手指追踪技术?

您能在基于投影的VR系统中使用VR手指追踪进行工作吗(CAVE洞穴状自动虚拟系统、Powerwall投影墙)?

在基于投影的VR系统中,一台或多台立体投影仪可以显示出两组略有不同的图像,创造出只有使用LCD快门眼镜才能看到的3D效果。有一台投影仪的配置叫做投影墙,多台投影仪组成的配置称为沉浸式房间或CAVE(洞穴自动虚拟环境)。

为了跟踪用户的位置,您将需要外部红外摄像机。但是对于非常精确的交互,如手指追踪,你将需要VR系统中添加手指追踪手套

手指追踪是否适用于任何VR系统?

一些主流头戴式显示器支持在没有控制器的情况下使用VR,如Meta Quest 2、HTC Vive Pro、Pimax 5K和Pimax 8K(价格增加200美元,添加了手部追踪模块)以及Varjo XR-3和VR-3。

对于其他虚拟现实系统,您需要在虚拟现实头显上添加一个专业的手指跟踪传感器设备。

您能在增强现实中使用手指追踪技术吗?

您可能会在市场上找到具有实时3D手部追踪和手势识别功能的互动式AR应用解决方案。他们大多服务于营销用例、娱乐和视频聊天。因此,市场上不仅没有用于增强现实的真正的手指追踪软件,而且它们也不适用于工业领域。

也就是说,如果我们要走元宇宙之路,虚拟和增强现实将需要融合在一起。这将要求有一个通用的XR接口。因此,我们很可能在未来的AR中拥有一个精密的手指追踪界面,但这在未来几年之内不会实现。

New call-to-action

查看我们关于虚拟现实和增强现实发展的其他文章,以及它如何使您的业务受益:

商业VR的完整使用指南

4个虚拟现实应用于军事国防领域的使用案例

VR晕动症:如何在专业用途的使用中减少它的出现?

Topics: AR/VR, 专业用途XR, 手指追踪