许多行业都在其流程中采用了AR和VR技术。对于许多用例来说,传统的手持式控制器已经可以满足产品设计和生产过程的需要。但对于一些精确的用例,增加VR手指追踪和触觉反馈才能达到高维度VR体验的目的。
例如,您沉浸在汽车的CAD模型里又同时进行着人体工程学研究。实时可视化您的三维数据是一回事。但是,无实物与您的模型进行互动,感受每一个零件的位置又是另一回事。在这篇文章中,我们将会探讨逼真度和互动性对专业人士来说为什么是VR体验的必备条件。
手指追踪是一种追踪方式,其目的是在一些精确的用例中用用户的手来代替VR控制器。一般来说,手指追踪可以被认为是手部追踪系统的一个特殊类别。在这种情况下,当VR与CAD模型进行交互时,可以实时追踪手指的位置,且不受速度或手部运动的限制。
基于手指追踪的互动与触觉和力反馈兼容的设备可以为用户营造一个完全沉浸式的体验,无论是在视觉上还是实践上。在与您的1:1 CAD模型互动时,您将能够感受到3D模型不同部分的振动、质地和硬度。这样在抓取虚拟物体的时候就可以为用户的手指创造阻力,以增加互动的真实性。
利用交互式虚拟现实技术准确追踪手指运动存在很多方式。例如TechViz使用的是VR手套,我们的软件可以与许多追踪传感器设备兼容,如ART手指追踪、Vibro触觉手指追踪、Cyberglove或UltraLeap。
当VR头显相机或外部传感站跟踪您手的位置、深度、姿势和方向时,就会产生手部追踪。追踪数据由VR系统来收集,并把用户的手和它们的运动转化为在VR环境中的三维表现。即使手部追踪方案包括感官和力反馈装置,它们通常也不如单个手指追踪更加精确。这两种跟踪方法的选择取决于您的使用情况和您的虚拟现实系统。
通过使用机器学习、深度神经网络和基于模型的追踪,Oculus和谷歌等几家公司目前能够识别手势。然而,这项技术的目的是识别特定的手部动作和姿势。如果您有特定的用例需要精确的手指追踪,例如在虚拟现实中模拟数字仪表盘,或进行驾驶舱人体工程学研究,手势识别将不适用,因为您无法用手指精准地触摸到屏幕。
手指追踪与手指触摸检测是不同的。使用手指触摸检测,您仍然需要使用VR控制器。控制器可以检测到您的手指,而不需要在您放置拇指、食指或中指的按钮或模拟摇杆上进行任何按压。这使您能够在VR体验中做出更自然的手势。这是一种比较简单且具有成本效益的方式在VR中实现基本的手势识别,如指向、挥手和竖起大拇指。
但是手指追踪的真正含义是:系统可以在不使用控制器的情况下追踪您手指的个别动作。
沉浸式VR在各行业的受欢迎程度一直在稳步上升。以下是与"传统 "VR手部追踪相比只有使用VR完整手指追踪系统才能产生的使用案例
手指追踪手套的触觉和力反馈对于汽车人机互动的虚拟现实评估场景至关重要。例如,了解驾驶员是否能够在不离开道路的情况下访问汽车的所有控制装置是非常重要的。在驾驶舱内进行有意义的可达性研究时,只有采用带有触觉的VR手指追踪才能进行。
VR中的触觉反馈和手指追踪对于车载人机界面(HMI)的用户体验评估至关重要。特别是涉及到数字仪表盘、数字信息娱乐系统或导航系统的交互时。其目的是模拟独立二维应用的触摸感应互动,并将其集成在虚拟模型中。
采用手指追踪技术进行项目审查和演示,可以加快产品设计的进程。它使每个利益相关者都能直观地参与CAD模型的评审,即使他们几乎没有使用VR的经验。在VR的产品设计中,手指追踪提供了更精确且安全的方式与虚拟对象进行互动。
VR中的手指追踪能够实现与VR模拟的高保真互动,并为您的培训场景增加真实价值。当工人需要在场景中用到手指时,此功能就变得尤为重要,例如技术人员的维护场景或装配线培训。如果使用VR控制器,您依然会感受到VR培训场景和现实世界之间的差距。而不使用控制器的虚拟现实模拟有助于思维和手的协同使用,可以有效避免混乱和错误从而提供更准确的结果。
手和手指的动作越精确地再现到VR中,交流就越容易。在VR远程协作中添加手指追踪功能,您在VR中的化身就可以再现您在现实世界中与同事解释时的手势。将非语言交流添加到VR中,能够实现逼真的对话,从而减少沟通不畅并提高整个团队的效率。
在VR中采用手指追踪技术,可以直接用手指与CAD内容进行交互,而不需要VR控制器,并通过触觉和力反馈装置为VR模拟增加另一层真实感。因此,在工程领域方面它具有很多优势 :
在基于投影的VR系统中,一台或多台立体投影仪可以显示出两组略有不同的图像,创造出只有使用LCD快门眼镜才能看到的3D效果。有一台投影仪的配置叫做投影墙,多台投影仪组成的配置称为沉浸式房间或CAVE(洞穴自动虚拟环境)。
一些主流头戴式显示器支持在没有控制器的情况下使用VR,如Meta Quest 2、HTC Vive Pro、Pimax 5K和Pimax 8K(价格增加200美元,添加了手部追踪模块)以及Varjo XR-3和VR-3。
对于其他虚拟现实系统,您需要在虚拟现实头显上添加一个专业的手指跟踪传感器设备。
您可能会在市场上找到具有实时3D手部追踪和手势识别功能的互动式AR应用解决方案。他们大多服务于营销用例、娱乐和视频聊天。因此,市场上不仅没有用于增强现实的真正的手指追踪软件,而且它们也不适用于工业领域。
也就是说,如果我们要走元宇宙之路,虚拟和增强现实将需要融合在一起。这将要求有一个通用的XR接口。因此,我们很可能在未来的AR中拥有一个精密的手指追踪界面,但这在未来几年之内不会实现。
查看我们关于虚拟现实和增强现实发展的其他文章,以及它如何使您的业务受益: