時間:2018-04-26 來源:互聯網 瀏覽量:
為HoloLens上的混合現實內容帶來觸覺反饋
(映維網 2018年04月26日)微軟是沉浸式技術的堅定信徒,而這家公司一直都在致力於提升沉浸式計算技術。微軟的一支研究團隊最近演示了一種名為MRTouch的交互技術,其能夠為HoloLens上的混合現實內容帶來觸覺反饋。
微軟在2016年推出了HoloLens頭顯,這是我們首次見證這家科技巨頭的混合現實願景。HoloLens頭顯搭載了環境映射和手部追蹤技術,可讓你與疊加在真實世界的3D虛擬對象進行交互。HoloLens支持手勢,基於注視點和基於語音的輸入,但上述方法並不像我們想象般直觀。手勢無法提供對用戶交互的觸覺反饋,而盡管基於注視點和基於語音的交互可能有一定的幫助,但它們實際上並不適合作為通用的交互方法。
大多數人習慣於使用智能手機,平板電腦和摸屏電腦顯示器進行基於觸摸的交互。微軟的實驗性軟件MRTouch利用HoloLens先進的環境映射和手部追蹤技術,能夠精確定位可用作虛擬輸入設備的平坦表麵,從而將觸摸交互帶到混合現實環境。
微軟HoloLens頭顯提供兩種環境追蹤模式。長衝程(long-throw)追蹤模式采用機載攝像頭來映射你周圍的空間,包括房間的牆壁和空間中的物體。這款頭顯同時支持短衝程(short-throw)模式,主要用於手勢追蹤和最大為一米的追蹤距離。MRTouch應用程序采用了HoloLens的短衝程追蹤模式,因為長衝程追蹤對手指追蹤而言不夠準確。
微軟的研究人員結合了短衝程深度攝像頭信息與紅外攝像頭信號,無需依賴長衝程深度攝像頭的信息即可提供精確的平坦表麵映射。研究人員表示,這使得MRTouch軟件能夠在缺乏完整3D環境映射的情況下運行。
借助MRTouch,你可以將任何平台表麵用作觸控表麵,如桌麵與牆壁。如果要通過MRTouch打開應用程序,用戶隻需觸摸要使用的表麵,然後手指向下拖到右側,這將創建一個虛擬窗口,這時你就可以打開應用程序。物理表麵可讓你在按下時感受虛擬按鈕,但同時可以實現更精確的輸入。懸空手勢適用於簡單的交互,但由於缺乏觸覺反饋而無法分辨自己於何時按下了按鈕,你將很難使用虛擬菜單。另外,懸空交互僅限於單個輸入點,而MRTouch支持多達10位的多點觸控交互。
MRTouch軟件的追蹤管道在運行速度方麵為25fps,包含三個組件:Image Streamer,Tracker Engine和Client Library。Image Streamer從紅外和深度攝像頭輸出數據,並通過TCP套接口將其發送到Tracker Engien。MRTouch Tracker Engien從Image Streamer接收數據,並利用這一點來保存“已知追蹤表麵”及其坐標列表。如同微軟WMR平台中的任何應用程序一樣,當你在空間中移動時,MRTouch窗口將仍然停留在它的位置。MRTouch係統的第三個組件是Client Library,它可以打開Tracker Engine的TCP連接以接收位置數據和觸控信息。然後,Client Library將把相關的信息轉換為應用程序可以解釋的格式。
MRTouch軟件運行在微軟的HoloLens頭顯上,但該團隊表示,他們創建了一個自定義的API來構建軟件,這意味著開發者將應用程序移植到其他混合現實設備上將很容易。
但MRTouch目前尚未向市場公開,而微軟也沒有透露MRTouch將於何時或是否將與市場見麵。但如果你想了解更多的相關信息,該研究團隊的負責人Rober Xiao發表了一份研究論文,詳細介紹了其中的工作原理。我們顯然希望這個項目能夠早日進入市場,因為混合現實中的觸覺交互是我們迫切希望看到的進步。
相關論文:MRTouch: Adding Touch Input to Head-Mounted Mixed Reality(登錄查看下載地址)
Missing PDF "https://yivian.com/resource/paper/2018_IEEEVR_MRTouch.pdf".
原文鏈接:https://yivian.com/news/44516.html