時間：2017-06-20 來源：互聯網 瀏覽量：
6月18日，由微軟舉辦的“HoloLens與混合現實技術集會深圳站”在騰訊大廈舉行。會上，微軟總部Visual C++項目經理陸榕、微軟(中國)有限公司技術顧問梅穎廣與到場開發者分享了如何利用Unity打造MR體驗。
以下內容由VR陀螺整理，有刪改。
用unity開發MR相關應用，目前主要是HoloLens，後期會有MR的頭顯設備。其實不管用什麼設備，隻要是MR框架上的設備，都可以使用這個開發方法。
整個演講分為五個部分：
1、開發的準備工作。
2、沒有開發過HoloLens有一個零基礎教程。【Holograms：101】
3、微軟的開源項目HoloToolkit-Unity。
4、HoloLens的新的交互方式在unity中怎麼開發。
5、HoloLens更趨向AR類的眼鏡，怎麼在HoloLens使用vuforia SDK進行開發。
一：開發的準備
1：環境：推薦使用Visual Studio2017，不過其實從Visual Studio2015Update 3就可以了。從公司戰略上來說，我們要給大家推薦最新的。
如果你要開發MR的頭顯內容或者以後的話，那就必定要用Visual Studio2017。
3：安裝HoloLens的模擬器。不管你有沒有PC端的模擬器，都是推薦安裝的，這樣不用每次修正都到頭盔上。
5-6：unity推薦版本最新的，從unity5.4開始就支持HoloLens的開發了。現在是unity5.6是最好的。
Portal的話也推薦使用。
7.8.9是你的電腦開發配置相關，需要在64 位 Windows 10專業版、企業版或教育版下開發。
4 核及以上 64 位 CPU，8G 及以上內存，配置虛擬化與 Hyper-V。GPU 支持 DirectX 11.0 或以上，WDDM 1.2 驅動及以上的版本。
當然這些是基於HoloLens的開發，如果是其他沉浸式MR開發的話，我稍後介紹。
下麵需要說到的是兩類應用。一類是在運行的時候是帶窗口的。這一類可以將2D的窗口隨意地貼在地上、牆上、天花板上，叫2D類應用。這個非常容易，不是我們這節課的重點。
第二個是全息應用，就是和真實場景的MR的應用。
這類應用也有兩個方法，第一個是使用最原始的Holograms的，對性能要求和經驗比較多。
一般來說我們還是推薦unity來做，就足夠了。
HoloLens上90%的應用都是用unity開發的，這是unite大會上說的，這個數據應該是可靠的。
開發過程中包含的部分（HoloLens）
分為18塊。3個部分。
最上麵的6個：3D程序、材質、腳本、貼圖、……基本上，HoloLens就是一個標準的3D應用。
最下麵的這6個：HoloLens所具有的特有的，HoloLens有三個最主要的交互方式，當然傳統的方式也是支持的，不過我們推薦這三種：凝視、手勢和語音。
這是三個GGV，三個英文單詞的首字母。
後麵是三個spatial，一個是空間映射，第二個是空間聲音，你在程序中需要處理，第三個是空間坐標，需要不斷掃描，坐標是不斷形成的，以此在掃描相對位置後，保證你看到的環境，畫麵是相對穩定的。
這一部分是你做應用開發的是你要特別注意的。因為這時候HoloLens特有的。
中間這一部分是工具，也是分為6個，這6個工具可以幫助你完成上麵6個和下麵6個的效果。
當你開發的時候，你先要確定自己需要的是哪一塊，然後再去找處理這一塊的方法。
二：開發從零開始【Holograms：101】使用介紹
1：打開unity，選3D
2：Hierarchy 中找到Main Camera，做一些設置：
01、坐標歸零，
02、Clear Flags 為 Solid Color，Background，設置成黑色。原因是HoloLens和電腦的成像原理不同，所以你設置為背景的話，要選黑色。
03、Clipping Planes 的 Near 推薦為 0.3 ~ 0.85 之間的值，不在這個區間的話，在HoloLens不會被顯示。0.85之內差不多是你手臂比較自然的交互。
這個距離可以自己調，不過這個距離是沉浸感最好的。
3：設置品質
設置品質，可以找到Unity 編輯器菜單欄 Edit → Project Settings → Quality，推薦選擇最上麵的fastest。
這是推薦，從開發的角度，更關注於速度。
4：構建
Unity 編輯器菜單欄 File → Build Settings，微軟從Windows8開始，unity就把應用都歸類到Windows store裏麵的。所以要注意選擇 SDK 為 Universal 10，Target device 為 HoloLens。
下麵有個UWP SDK種類選擇，需要選擇D3D。不要選擇XAML
這裏注意一下Build Settings，選擇VR。這裏HoloLens是歸類在VR裏麵的，這裏你要勾選一下。
之後就和之前的操作一樣啦，如果你安裝了模擬器的話，旁邊會有模擬器的界麵。你可以運行，如果你是直接連的HoloLens的話，你可以直接輸出到HoloLens了。
你可以在PC上使用鍵盤鼠標，模擬凝視、手勢操作。
按一個按鍵，代表你做了開發動作，就像你玩雙搖杆的遊戲。也是通過鍵盤，所以，你勾選了鍵盤的話，可以模擬你的凝視、手勢操作，如果沒選的話，就不會去模擬你的操作了。就變成鍵盤。
第三部分：HoloToolkit-Unity工具介紹
https://github.com/Microsoft/HoloToolkit-Unity
有一個是HoloToolkit，後麵沒有-unity的，可以選擇其他引擎開發。你如果選用HoloToolkit-Unity，你拿過來對你的開發其實是相當有幫助的。
也是分為六個部分，每一個部分大概有這麼些內容：
第一個：比如說交互方式Input，基本上就是那三個交互方式的處理。分別是 GazeManager.cs、 GestureManager.cs、 HandsManager.cs 和KeywordManager.cs。現在都叫做InputManager。
之後肯定也會對應其他的頭顯設備的，包括以後的VR設備。所以全都歸類為InputManager了。
第二個是空間映射、空間聲音，如果你要模擬，你可以直接參考HoloToolkit-Unity的代碼寫法就可以，如果你不參考的話，你就需要自己寫，相對麻煩一些。
還有一個是utility，比如說要做一個“廣告牌”，在北京站我以為都知道，我就跳過去了。舉手的不多，我也不深入講了。
還有交互方麵的視角。如果你要換一個視角，如果你沒有UI的話，用戶會很茫然，戴上去後什麼都沒有。這個時候你有兩種辦法，比如在用戶看的方向模擬聲音，隻要他不是耳朵上有障礙的話，他會往那個方向看。第二個是做一些箭頭指示，引導他往哪個方向看。
箭頭指示到底這麼做呢？utility裏麵有可以參考的。
其實你就會發現，在HoloToolkit-Unity裏麵有很多功能，隻要你去挖掘的話，能給你很多的幫助，其次HoloToolkit-Unity在目錄的編排也優化得比較好。比如腳本就在腳本目錄下，材質就在材質目錄下。
你寫了這麼多我還真不會用，HoloToolkit-Unity文檔方麵的教程不多，但是你可以在最下麵有個test目錄，就是HoloToolkit-Unity-test。就是一個測試，把所有的功能都有測試案例。
你直接到test裏麵去看，你就知道怎麼用。這裏目錄非常有用。
最後說一下，HoloToolkit-Unity具體怎麼用呢？
01、HoloToolkit-Unity就是一個開源的東西，你從unity進去，你就可以看到基本模塊，你可以直接打包。
使用unity打開HoloToolkit工程，右擊Assets，導出Package。
你可以選擇你所要導入的package。
02、【操作演示】
03、在這邊你可以看到一個build，在這裏你可以用來build工程，你簡單一點也可以直接輸出。也可以直接發布到HoloLens真機上，非常方便。
不過提醒一下，你還是用unity自己的build去做，比較安全一些。
第四部分：HoloLens的特有6大部分怎麼開發。
6大部分：GGV和空間
凝視：兩個方法，射線的交互，做一個碰撞檢測。
手勢：在unity中有一個叫手勢識別器的東西，它不是判斷手的動作的，它之後一個事件，就yes和No。
隻要這個事件被觸發，這個函數就會被調用。
語音識別：這個要提醒的是，現在HoloLens主要是識別英語。其次是需要一個麥克風和網絡，做語音識別的話，這兩個記得打開。
都在InputManager裏，大家拿去用就可以了。
空間映射：spatial mapping，你不能自己修改，你可以保存下來，這個與你看的方向有關。你看哪個地方，哪個地方就會產生空間映射。
Unity裏麵也有一些函數是可以獲得空間映射的數據的，如果需要的話，可以下載下來，減少你空間掃麵的時間，你可以把數據在unity裏麵用。
Unity裏麵有組件是和它配套的，比如game object。
空間聲音：unity有一個空間音效的組件，你直接就可以用，在插件上你隻能選擇微軟的，其他的不支持。參數都是固定的。
聲音的3D效果，拖到最右邊效果是最好的，這些操作你隻要按官方推薦的就好。
空間坐標：空間錨標
比如三個設備看到的物體是同一個，那怎麼實現，就是那個物體對三個人來說是在同樣位置的，而且一個人交互，另外兩個人也可以看到，那就是首先需要設備是全套，其次是交互的數據三台設備是共享的。最後也是最重要的，那就是空間錨標。
第五部分：如何用vuforia開發HoloLens應用
如果寫過手機AR遊戲的話，對vuforia還是比較熟悉的。隻要你按這個步驟去做，就可以實現了。
1：下載vuforia
2：裝在unity工程裏麵，根據你的係統選擇相應的版本下載即可。例如我的是Win10 64位，我就點擊5.4.1的“下載（Win）”按鈕，選擇Unity編輯器（64位）下載。
你把HoloLens裏麵的主相機（場景camera）拖到這個AR camera，那你在HoloLens看到的東西就能被vuforia的相機采集到。
3：配置項目以使用Vuforia應用
隱藏部分：最後是沉浸感設備開發者的一個小小內容
不少開發者在問，微軟的VR平台現在構建地如何了，給大家彙報一下。大家都說微軟隻注重AR，MR，不注重VR產品，其實我們隻是稍微晚了一點啊。
從MR的HoloLens和沉浸式頭顯設備放在一起，HoloLens開發有6件事情，MR會擴展一些。
第一是，HoloLens是不支持motion Controller的，隻有在VR裏麵有的。
第二是手勢，以後是VR產品是沒有手勢識別的。你直接使用motion controller就可以，不需要對純手勢進行識別。
第三個是空間坐標，空間聲音，都有，隻有空間映射目前還沒有ready，現在大家裝過創意者版本嗎？等今年秋天就會支持空間映射了。
MR現在到底準備的情況怎麼樣？
Ready和不ready的東西我都列在這裏了。
Unity有課程，MR的產品沒有課程，隻能自己去看，unity需要5.6的技術預覽版，才能開發VR產品。
Unity還是不推薦發motion controller的，他還是推薦使用XBOX的手柄去操作VR類的產品。
Ready的：
HoloLens的文檔大量更新，你可以直接看文檔，還有就是社區。做MR的產品的話，一定是Windows 10的創意者更新以後。你可以先看看文件，操作可能要晚一點。
推薦配置：4 核及以上 64 位 CPU，8G 及以上內存，配置虛擬化與 Hyper-V。GPU 支持 DirectX 12.0 ，WDDM 1.2 驅動及以上的版本。
我們的聯係方式：
商務合作 | 采訪 | 投稿 ：文靜（微信 mutou_kiki）
交流分享 | 爆料：案山子 （微信 shimotsuki_jun）
投稿郵箱：tougao@youxituoluo.com
