混合现实技术 将数字内容与对物理环境的理解相结合，使虚拟物体能够与现实世界的环境共存并互动。与传统屏幕不同，混合现实系统可以使用相机、深度感知、空间映射、跟踪和3D图形，使数字内容对用户的物理空间做出反应。
混合现实（MR）与增强现实、虚拟现实以及更广泛的空间计算领域密切相关。然而，讨论那些数字和物理元素在空间上连接并且用户能够在上下文中与数字内容互动的体验时，这个术语最为有用。
本指南解释了混合现实技术是什么、如何运作、其背后的硬件和软件、实际应用、好处、挑战、隐私考虑，以及组织在采用之前应该考虑的事项。
目录
什么是混合现实技术？
混合现实是一种计算方法，数字对象与物理环境相关联并对此环境或用户的动作作出响应。体验可以从相对简单的数字叠加到高度互动的3D场景。
例如，工程师可以在真实的工厂车间中放置机器的虚拟表示，并在其周围走动。数字模型可以固定在物理空间上，而用户可以检查组件或与控制装置互动。
重要的区别在于空间上下文。系统不仅仅在显示一个3D对象；它试图理解用户和周围表面的位置信息，并利用该信息创建有意义的互动。
混合现实是如何工作的
1. 环境感知
MR设备通过摄像头、深度传感器、惯性传感器、麦克风等硬件收集周围环境的信息。具体的传感器配置取决于设备。
2. 空间映射
软件处理传感器信息以估计表面、物体、运动和设备的位置。空间映射允许数字内容相对于物理环境进行放置。
3. 追踪
头部、手部、眼睛、控制器和物体跟踪可以确定用户如何与体验互动。准确的跟踪可以帮助虚拟物体在用户移动时看起来稳定。
4. 渲染
图形系统从用户当前的视角渲染数字对象。它必须快速更新，以确保虚拟场景与移动保持对齐。
5. 互动
用户可以通过手势、注视、语音、控制器、物理按钮或传统输入设备与混合现实互动。一些应用程序结合了几种交互方法。
混合现实背后的关键技术
计算机视觉
计算机视觉帮助系统解释摄像头数据。它可以支持识别表面、跟踪运动、识别物体和理解空间关系等任务。
深度感知
深度信息有助于估计表面和物体距离设备的远近。这可以使数字内容与物理环境更加可信地连接。
SLAM和空间定位
同时定位与地图构建，通常称为SLAM，是一系列技术，用于在构建或维护环境地图时估计设备的运动。
3D图形
实时图形引擎生成用户可见的虚拟对象和环境。性能很重要，因为缓慢的渲染或过大的延迟会降低沉浸感和舒适度。
手和眼的追踪
手部跟踪可以将手势转换为输入，而眼动跟踪可以帮助确定用户正在注视的内容。这些技术可以减少在合适应用中对物理控制器的依赖。
空间音频
空间音频添加了定向声音提示。例如，一个虚拟警报可以看似源于特定地点，增强数字内容与物理空间之间的关系。
人工智能
AI可以支持计算机视觉、物体识别、语音理解、场景解释和自适应接口。AI并不定义混合现实，但可以使MR系统更加上下文感知。
混合现实设备
混合现实体验可以通过几种类型的硬件传递。头戴式设备特别重要，因为它们可以在可穿戴系统中结合显示器、摄像头、传感器和追踪功能。
| 设备类别 | 典型功能 | 潜在的MR使用 |
|---|---|---|
| MR头显 | 显示器、摄像头、空间追踪、手或控制器输入 | 沉浸式 3D 工作、培训、模拟、协作 |
| 支持增强现实的眼镜 | 可穿戴显示器和环境传感 | 上下文指引、导航、现场工作 |
| 移动设备 | 相机、运动传感器和大屏幕 | 无障碍增强现实和空间可视化 |
| 专用工业系统 | 坚固耐用的硬件和企业集成 | 维护、制造、物流和培训 |
设备能力差异显著。买家应评估实际视野、追踪质量、舒适度、处理性能、软件生态系统、电池续航和企业管理功能，而不是仅依赖于混合现实标签。
混合现实的现实世界应用
制造与维护
混合现实可以围绕物理设备显示数字指令。技术人员可以检查组件的虚拟表示，遵循维护步骤，或在不不断查阅单独手册的情况下接受远程协助。
工程和产品设计
工程师可以以真实比例查看 3D 设计，并比较虚拟模型与物理环境。这可以使空间问题在制造开始之前更容易识别。
教育与培训
培训项目可以使用交互式模拟和 3D 模型来演示复杂系统。学生可以在保持对课堂或培训环境的意识的同时检查虚拟对象。
医疗保健
混合现实可以支持医学教育、可视化、康复和特定临床工作流。医疗使用需要适当的证据、隐私控制、安全程序和监管监督。
建筑与施工
设计团队可以将拟建建筑或基础设施与物理场地进行可视化。混合现实可以使建筑师、工程师、客户和施工团队的空间讨论更加具体化。
远程协作
分布式团队可以围绕共享的 3D 模型或物理对象的虚拟表示进行工作。当协作主题具有重要的三维属性时，这尤为有用。
零售与客户体验
混合现实可以帮助客户在购买前可视化产品或空间。当规模、位置或物理环境影响购买决策时，零售应用程序可能非常有用。
娱乐与游戏
游戏可以利用物理房间、表面、手势和现实世界的运动作为体验的一部分。这创造了在传统平面显示器上难以再现的互动。
混合现实的优点
- 空间可视化： 用户可以在三维和物理环境中检查数字模型。
- 动手学习: 培训可以结合物理设备与互动数字信息。
- 上下文感知指导： 指令可以出现在适用的物体或区域附近。
- 远程专业知识： 专家可以通过共享的视觉和空间信息支持工作人员。
- 快速原型： 团队可以在不立即构建物理原型的情况下探索数字设计。
- 自然互动： 手、视线、声音和动作可以补充传统控制。
这些好处取决于任务。当传统的电话、平板电脑、监视器或打印程序已经高效地解决问题时，混合现实可能会引入不必要的复杂性。
挑战与局限性
硬件限制
MR 系统需要在相对紧凑的外形中包含显示屏、处理器、传感器、电池和冷却。这会涉及重量、性能、电池寿命和成本的权衡。
跟踪可靠性
空间跟踪可能会受到照明、反射表面、遮挡、环境变化和传感器限制的影响。应用程序应该被设计成能够处理不确定性，而不是假设完美的跟踪。
延迟与性能
MR 体验对用户运动与视觉响应之间的延迟非常敏感。开发人员必须优化渲染、跟踪、网络和应用逻辑，以保持响应式互动。
舒适度
头戴设备在长时间使用时可能会变得不舒适。重量分布、热量、光学、贴合度和交互设计都会影响用户是否能够在实用的时间内使用系统。
成本与部署
企业 MR 项目可能涉及硬件、软件开发、内容创建、设备管理、培训、支持和集成成本。总成本可能远高于耳机本身的价格。
内容创建
高质量的 3D 资产和空间工作流程可能需要专业技能。组织需要考虑资产创建、维护、版本控制和跨设备的兼容性。
隐私与安全
混合现实系统可以收集关于人和地点的异常详细的信息。摄像头和传感器可能捕捉房间布局、面孔、运动、声音、手势和其他环境信息。
组织应建立关于记录、数据保留、访问、共享和删除的明确规则。应用程序还应仅请求它们真正需要的权限。
企业部署应考虑设备身份验证、加密、安全软件更新、身份管理、网络安全和管理控制。隐私和安全应从一开始就设计入系统。
混合现实与增强现实与虚拟现实
| 特征 | 混合现实 | 增强现实 | 虚拟现实 |
|---|---|---|---|
| 物理环境 | 通常对体验很重要 | 通常可见且增强的 | 经常被虚拟环境取代 |
| 数字对象 | 可以进行空间锚定和互动 | 通常覆盖在物理世界之上 | 存在于虚拟环境中 |
| 环境交互 | 可以是广泛的 | 可以从简单覆盖到高级空间交互 | 主要是模拟的 |
| 典型的优势 | 在物理环境中互动的3D内容 | 上下文信息和轻量增强 | 沉浸式模拟和娱乐 |
该术语在科技行业并不完美标准化。产品和平台可能重叠，因此特定系统的能力比标签本身更为重要。
一个实际例子
考虑一家制造公司引入一台新设备。公司不仅仅给技术人员提供手册，而是创建一个混合现实培训应用程序。
受训者看到物理机器，同时数字模型强调组件并演示检查的正确顺序。受训者可以在设备周围走动，选择虚拟组件，并在上下文中接收指示。
远程讲师可以加入会话并指向相同的虚拟模型。培训结束后，同一系统可以通过在设备附近提供相关信息来支持现场维护。
这说明了混合现实的重要优势：相同的空间模型可以连接培训、可视化、协作和实际工作。
采用混合现实技术的专家建议
- 从一个可衡量的问题开始： 选择一个空间交互可以改善成本、时间、安全、质量或培训结果的工作流程。
- 在真实环境中试点： 在大规模部署之前测试照明、网络条件、物理障碍、噪声和用户移动。
- 为失败设计： 当跟踪、连接、语音输入或传感器变得不可靠时提供替代方案。
- 优先考虑舒适性： 如果用户无法在所需时间内舒适地佩戴，技术上令人印象深刻的系统将会失败。
- 保护空间数据： 将环境地图、录音、生物识别相关信息和其他传感器数据视为潜在的敏感信息。
- 衡量结果： 与现有方法比较混合现实工作流程，而不是假设沉浸感等于生产力。
应避免的常见错误
- 仅仅因为混合现实很时髦而使用： 技术应该解决一个真实的用户问题。
- 忽视传统界面： 某些任务在手机、平板电脑、桌面或物理控制设备上仍然更快。
- 环境过载： 太多数字对象可能会分散用户注意力，并使导航变得更加困难。
- 低估内容成本： 3D资产和空间工作流程需要持续维护。
- 忽视隐私： 环境感知可能会揭示用户未想分享的信息。
- 仅在理想条件下进行测试： 现实世界环境可能暴露出实验室演示隐藏的跟踪和可用性问题。
关于混合现实技术的常见问题
1. 什么是混合现实技术？
混合现实技术将数字内容与物理环境连接，以便虚拟对象可以在空间上与现实世界相关，并对用户或环境上下文作出响应。
2. 混合现实与增强现实是一样的吗？
不。概念重叠，术语因公司和平台而异。混合现实通常强调数字内容与物理环境之间更深的空间互动。
3. 混合现实需要耳机吗？
许多先进的混合现实体验使用头戴式设备，但空间应用也可以使用手机、平板电脑、相机和专用系统。硬件取决于所需的沉浸程度和跟踪。
4. 混合现实用于什么？
应用包括制造、维护、工程、培训、教育、医疗可视化、建筑、远程协作、零售和娱乐。
5. 什么技术使混合现实成为可能？
重要技术包括计算机视觉、深度感知、空间映射、SLAM、3D图形、运动跟踪、手部和眼部跟踪、空间音频、无线连接，以及越来越多的人工智能。
6. 混合现实的缺点是什么？
挑战包括硬件成本、电池限制、设备重量、跟踪错误、延迟、隐私问题、内容开发成本、软件兼容性和用户舒适度。
7. 混合现实对企业有用吗？
当三维上下文改善工作流程时，它可能是有价值的，例如技术培训、设备维护、设计评审、远程协助或可视化。商业案例应与现有工作流程进行衡量。
8. 混合现实的未来是什么？
未来的发展可能会集中在更轻的设备、更好的显示屏和传感器、更强的空间理解、改进的人工智能互动、更长的电池寿命、更强大的软件以及更广泛的企业和消费者应用。
结论
混合现实技术将数字信息与物理世界建立空间关系。通过结合显示屏、传感器、计算机视觉、空间映射、3D图形和互动输入，MR可以为培训、工程、制造、教育、协作和娱乐创造有用的体验。
这项技术并不自动优于传统计算。它的价值来自于在物理环境真正重要的地方使用空间交互。因此，组织应通过生产力、安全性、培训质量、协作和用户体验等实际结果来评估MR。
要了解MR背后的更广泛计算模型，请阅读我们的 空间计算指南。您还可以探索我们的 增强现实眼镜指南 以更深入地了解可穿戴AR硬件。
探索更多SignalMediaMKG技术指南，以实用的方式解释新兴计算、软件、硬件、人工智能和数字技术。
