混合現實技術 將數位內容與對物理環境的理解結合，以便虛擬物體能夠顯示為與真實世界環境共存並互動。與傳統螢幕不同，混合現實系統可以利用攝像頭、深度感測、空間繪製、追蹤和3D圖形使數位內容對使用者的物理空間做出反應。
混合現實（MR）與增強現實、虛擬現實以及更廣泛的空間計算領域密切相關。然而，這個術語在討論數位和物理元素的空間連接的體驗中最為有用，使用者可以在上下文中與數位內容互動。
本指南解釋了混合現實技術是什麼、其工作原理、背後的硬體和軟體、實際應用、優勢、挑戰、隱私考量，以及組織在採用之前應考慮的事項。
目錄
什麼是混合實境技術？
混合現實是一種計算方法，在此方法中，數位物體相對於物理環境呈現，並能對該環境或使用者的行動做出反應。這種體驗可以從相對簡單的數位覆蓋到高度互動的3D場景。
例如，一名工程師可以在真實的工廠地板上放置一個機器的虛擬表示，並圍繞它走動。數位模型可以依附於物理空間，而使用者可以檢查組件或與控制系統互動。
重要的區辨是空間上下文。系統不僅僅顯示一個3D物體；它試圖理解使用者和周圍表面的位置信息，並利用該信息來創造有意義的互動。
混合實境如何運作
1. 環境感知
MR設備通過攝像頭、深度感測器、慣性感測器、麥克風和其他硬體收集周圍資訊。具體的感測器配置取決於設備。
2. 空間映射
軟體處理感測器信息，以估算表面、物體、運動以及設備的位置。空間繪製允許數位內容相對於物理環境放置。
3. 追踪
頭部、手部、眼動、控制器和物體追蹤可以決定使用者如何與體驗互動。準確的追蹤可以幫助虛擬物體在使用者移動時顯得穩定。
4. 渲染
圖形系統從使用者的當前視角渲染數位物體。它必須快速更新，以保持虛擬場景與動態的對齊。
5. 互動
使用者可以通過手勢、凝視、語音、控制器、物理按鈕或傳統輸入設備與混合現實互動。一些應用結合多種互動方法。
混合實境背後的關鍵技術
電腦視覺
計算機視覺幫助系統解釋攝像頭數據。它可以支持識別表面、追蹤運動、辨認物體及理解空間關係等任務。
深度感知
深度信息有助於估算表面和物體距離設備的遠近。這可以使數位內容與物理環境的連接更具說服力。
SLAM 和空間定位
同時定位與地圖構建，通常稱為SLAM，是一系列技術，用來在建立或維護環境地圖的同時估計設備的運動。
3D 圖形
實時圖形引擎生成使用者可見的虛擬物體和環境。性能至關重要，因為渲染速度慢或過高的延遲會降低沉浸感和舒適度。
手部和眼睛追踪
手部追蹤可以將手勢轉換為輸入，而眼動追蹤可以幫助確定使用者正在觀察的內容。這些技術可以在合適的應用中減少對物理控制器的依賴。
空間音訊
空間音頻增加了方向性聲音提示。例如，虛擬警報可以似乎來源於特定位置，加強數位內容與物理空間之間的關係。
人工智慧
AI可以支持計算機視覺、物體識別、語音理解、場景解釋和自適應介面。AI並不定義混合現實，但它可以使MR系統更具上下文感知能力。
混合實境設備
混合現實體驗可以通過幾種硬體類型來實現。頭戴設備尤其重要，因為它們可以在可穿戴系統中結合顯示器、攝像頭、感測器和追蹤。
| 設備類別 | 典型功能 | 潛在的MR用途 |
|---|---|---|
| MR頭盔 | 顯示器、攝影機、空間追蹤、手部或控制器輸入 | 沉浸式3D工作、訓練、模擬、協作 |
| 具AR功能的眼鏡 | 可穿戴顯示器和環境感知 | 上下文說明、導航、現場工作 |
| 行動設備 | 攝影機、動作感測器和大型顯示器 | 可及的AR和空間視覺化 |
| 專業工業系統 | 堅固的硬體和企業整合 | 維護、製造、物流和訓練 |
設備能力差異顯著。買家應評估實際的視野範圍、追蹤品質、舒適度、處理性能、軟體生態系統、電池壽命和企業管理功能，而不是僅依賴MR標籤。
混合實境的真實世界應用
製造和維護
MR可以在實體設備周圍顯示數位說明。技術人員可以檢查組件的虛擬代表，遵循維護步驟，或接受遠程協助，而無需不斷查閱分開的手冊。
工程與產品設計
工程師可以在真實比例下審查3D設計，並將虛擬模型與實體環境進行比較。這可以使在製造開始之前識別空間問題變得更容易。
教育和培訓
訓練計劃可以使用互動模擬和3D模型來展示複雜系統。學生可以在保持對課室或訓練環境意識的同時檢查虛擬物體。
健康護理
MR可以支持醫學教育、可視化、復健和特定的臨床工作流程。醫療用途需要適當的證據、隱私控制、安全程序和監管監督。
建築與施工
設計團隊可以根據實體地點可視化提議的建築或基礎設施。MR可以使建築師、工程師、客戶和施工團隊的空間討論變得更具體。
遠程協作
分散團隊可以圍繞共用的3D模型或實體物體的虛擬表示進行工作。這在合作主題具有重要的三維特性時特別有用。
零售與客戶體驗
MR可以幫助客戶在購買之前可視化產品或空間。當比例、擺放或物理背景影響購買決策時，零售應用可能會很有用。
娛樂與遊戲
遊戲可以利用物理房間、表面、手勢和現實世界的移動作為體驗的一部分。這創造出在傳統平面顯示器上難以重現的互動。
混合現實的好處
- 空間視覺化： 用戶可以在三維和物理環境中檢查數字模型。
- 動手學習： 培訓可以將實體設備與互動數字信息結合起來。
- 情境意識指導： 指示可以出現在適用的物體或區域附近。
- 遠程專業知識： 專家可以通過共享的視覺和空間信息支持工作人員。
- 快速原型製作： 團隊可以探索數字設計，而不需要立即構建實體原型。
- 自然互動： 手勢、目光、聲音和運動可以補充傳統控制。
這些好處取決於任務。如果傳統手機、平板電腦、顯示器或印刷程序已經有效解決問題，混合現實可能會引入不必要的複雜性。
挑戰與限制
硬體限制
MR系統需要顯示器、處理器、傳感器、電池和冷卻系統，以相對緊湊的形式呈現。這會涉及重量、性能、電池壽命和成本之間的權衡。
追蹤可靠性
空間追蹤可能受到照明、反射表面、遮擋、環境變化和傳感器限制的影響。應用程序應該設計為能夠處理不確定性，而不是假設完美的追蹤。
延遲與性能
MR體驗對用戶運動與視覺反應之間的延遲敏感。開發者必須優化渲染、追蹤、網絡和應用邏輯，以維持響應互動。
舒適性
頭戴裝置在長時間使用中可能會變得不舒適。重量分配、熱量、光學、合身性和互動設計都影響用戶能否在實際時間內與系統合作。
成本與部署
企業MR項目可能涉及硬件、軟件開發、內容創作、設備管理、培訓、支持和集成成本。總成本可能遠高於耳機本身的價格。
創建內容
高質量的3D資產和空間工作流程可能需要專業技能。組織需要考慮資產創建、維護、版本控制和設備之間的兼容性。
隱私與安全
混合現實系統可以收集有關人員和地點的異常詳細信息。相機和傳感器可能捕捉房間佈局、面部、動作、聲音、手勢和其他環境信息。
組織應建立明確的記錄、數據保留、訪問、共享和刪除的規則。應用程序還應僅請求其真正需要的權限。
企業部署應考慮設備身份驗證、加密、安全軟體更新、身份管理、網絡安全和管理控制。隱私和安全應在系統設計的初始階段就考慮進去。
混合現實與增強現實與虛擬現實
| 特徵 | 混合現實 | 擴增實境 | 虛擬實境 |
|---|---|---|---|
| 物理環境 | 通常對體驗重要 | 通常可見且被增強 | 常常被虛擬環境取代 |
| 數位物件 | 可以空間錨定並具有互動性 | 通常覆蓋於物理世界之上 | 存在於虛擬環境中 |
| 環境互動 | 可以是廣泛的 | 可以從簡單的疊加到先進的空間互動 | 主要是模擬的 |
| 典型優勢 | 在物理背景下的互動式3D內容 | 上下文信息和輕量增強 | 沉浸式模擬和娛樂 |
術語在科技行業並不是完全標準化的。產品和平台可能有重疊，因此特定系統的能力比單純的標籤更加重要。
實際範例
考慮一家製造公司引入一台新設備。公司不僅僅提供手冊，而是創建了一個MR培訓應用程序。
受訓者看到實體機器，同時數字模型突出顯示組件並演示檢查的正確順序。受訓者可以圍繞設備走動，選擇虛擬組件，並在上下文中接收指導。
遠程講師可以加入會議並指向相同的虛擬模型。在培訓後，同一系統可以通過在設備附近呈現相關信息來潛在支持現場維護。
這顯示了混合實境的一個重要優勢：相同的空間模型可以連接訓練、可視化、合作和實體工作。
採用混合現實技術的專家建議
- 從一個可測量的問題開始： 選擇一個空間互動可以改善成本、時間、安全性、質量或培訓成果的工作流程。
- 在真實環境中進行試點： 在大規模部署之前測試照明、網絡條件、物理障礙、噪音和用戶移動。
- 設計以防失敗： 當追蹤、連接性、語音輸入或感測器變得不可靠時，提供替代方案。
- 優先考慮舒適性： 如果用戶無法在所需時間內舒適地佩戴，則技術上令人印象深刻的系統將會失敗。
- 保護空間數據： 將環境地圖、錄音、生物識別相關信息及其他感測器數據視為潛在敏感信息。
- 測量成果： 將混合實境工作流程與現有方法進行比較，而不是假設沉浸感等於生產力。
要避免的常見錯誤
- 因為時尚而使用混合實境： 技術應該解決一個真正的用戶問題。
- 忽略傳統介面： 某些任務在手機、平板、桌面或實體控制上仍然更快。
- 過載環境： 過多的數字物件可能會分散用戶的注意力，並使導航更加困難。
- 低估內容成本： 3D資產和空間工作流程需要持續維護。
- 忽視隱私： 環境感測可以揭示用戶未預期分享的信息。
- 僅在理想條件下測試： 現實世界環境可以揭示實驗室演示隱藏的追蹤和可用性問題。
關於混合現實技術的常見問題
1. 混合現實技術是什麼？
混合現實技術將數位內容與實體環境連結，使虛擬物件能在空間上與真實世界相關聯並對用戶或環境背景作出反應。
2. 混合現實與增強現實是相同的嗎？
不可以。這些概念有重疊，且術語因公司和平台而異。混合現實通常強調數位內容與物理環境之間更深入的空間互動。
3. 混合現實需要頭戴式顯示器嗎？
許多先進的混合現實體驗使用頭戴式設備，但空間應用也可以使用手機、平板電腦、相機及專門系統。硬體依所需的沉浸程度和追蹤要求而異。
4. 混合現實用於什麼？
應用包括製造、維護、工程、培訓、教育、醫療可視化、建築、遠程協作、零售和娛樂。
5. 什麼技術使混合現實成為可能？
重要技術包括計算機視覺、深度感測、空間映射、SLAM、3D圖形、運動追蹤、手部和眼睛追蹤、空間音頻、無線連接，並且AI的使用愈加普遍。
6. 混合現實的缺點是什麼？
挑戰包括硬體成本、電池限制、設備重量、追蹤誤差、延遲、隱私問題、內容開發成本、軟體兼容性和用戶舒適度。
7. 混合現實對企業有用嗎？
當三維上下文改善工作流程時，它可以是有價值的，例如技術培訓、設備維護、設計檢討、遠程協助或可視化。商業案例應該與現有工作流程進行比較。
8. 混合現實的未來是什麼？
未來的發展可能會專注於更輕的設備、更好的顯示器和感測器、更強的空間理解、更出色的AI互動、更長的電池壽命、更強大的軟體以及更廣泛的企業和消費者應用。
結論
混合現實技術將數位信息與物理世界建立空間關係。通過結合顯示器、感應器、計算機視覺、空間映射、3D圖形和互動輸入，混合現實可以為培訓、工程、製造、教育、協作和娛樂創造有用的體驗。
這項技術並非自動優於傳統計算。它的價值來自於在物理上下文真正重要的地方使用空間互動。因此，組織應通過實際結果來評估混合現實，例如生產力、安全性、培訓質量、合作及用戶體驗。
要了解混合現實背後更廣泛的計算模型，請閱讀我們的 空間計算指南。您還可以探索我們的 增強現實眼鏡指南 以更深入地了解可穿戴AR硬體。
探索更多SignalMediaMKG技術指南，以獲得對新興計算、軟體、硬體、AI和數位技術的實用解釋。
