'Oculus Quest：新型VR一體機'
來源：TechCrunch
作者：德文·庫德維（Devin Coldewey）
原文鏈接：https://techcrunch.com/2019/08/22/how-oculus-squeezed-sophisticated-tracking-into-pipsqueak-hardware/
VR一體機Oculus Quest的設計目標是讓VR體驗變得簡單輕便，它也確實做到了這一點。
但實際上，從原本的由室內物品來跟蹤頭盔，發展為由頭盔來追蹤室內物品，是一個非常複雜的過程。於是我和Facebook首席技術官麥克·斯科洛普夫（Mike Schroepfer）討論了頭盔由“外向內（outside-in）”到“內向外（inside-out）”的追蹤方案轉變。
當玩家佩戴上VR頭盔和控制器，移動頭和手時，VR系統中的某些部分必須時刻確保能準確追蹤到用戶頭和手的位置。
通常可採用兩種方法：一種是“外向內”追蹤——將傳感器安裝在房間內的不同位置，從外部識別頭盔及其內部嵌入式LED屏幕的相對位置；另一種是“內向外”追蹤——將設備本身集成為傳感器，頭盔從內部追蹤房間裡的基準點，以時刻調整移動時的位置座標。
兩者都有各自的優缺點。但如果你想設計一個無線系統，那麼最好選擇“內向外”追蹤方法，這樣就無需在頭盔和計算機之間傳輸無線信號以追蹤實時位置，也就能避免出現信號延遲、影響用戶VR體驗。
Facebook和它旗下的VR頭戴設備製造商Oculus幾年前設定了一個目標——不僅要採取“內向外”追蹤，還要使其準確度比肩（甚至超越）必須與高端計算機相連接的“外向內”追蹤系統。
不僅如此，他們還希望這個設備在任何地方都能運行，而不僅僅受限於由無線電信標或其他信標限制好邊界的場景中；而且在戴上VR頭盔幾秒內就可開始運行。
最終的成果就是令人印象深刻的Quest頭盔，它成功達到了上述要求（儘管它在其他方面並沒有實現較大的飛躍）。
讓人印象深刻的是，Quest頭盔不但能夠追蹤周圍物體的位置，轉換生成頭盔自身的準確3D位置，而且實時轉換所需的功耗，僅為普通計算機轉換所需功耗的一小部分。
“儘管之前還有很多質疑聲，”斯科洛普夫說道，“但我目前還沒有看到過，性能可與之媲美的系統。”
Quest頭盔採用的技術叫作同步定位與建圖（Simulation Localization And Mapping，下稱SLAM）。它大體上可概括為，在構建周邊環境的3D地圖的同時進行自身定位。
當然，機器人在這方面操作上已經駕輕就熟了，但它們通常使用雷達之類的專業硬件來進行定位，它們的處理器也更為強大。而Quest頭盔使用的不過是普通攝像機。
“如果身處在一間倉庫中，我需要確保我的照明正常，這樣一旦遇到問題，我就可以靠標記在牆上的基準點來重置定位原點——這就相當於大幅度地簡化了問題。”斯科洛普夫說。
“當然我並不是讓你在牆上標記有形的基準點。我們也不會讓你在房子周圍標記二維碼，或是能精準定位的GPS座標。”
“就算Quest頭盔在此之前從未見過你的客廳，它也必須要在這個新環境中開始工作。
“在客廳這種相對受限的環境中，我們會設置一個移動處理器，它主要也是負責處理環境內的內容信息。機器人可不需要在巡視倉庫的同時，還玩Beat Saber（一款VR音樂遊戲）。”
因此從各個方面來看，轉換追蹤方式都是一個難題，團隊多年來也一直在努力解決這個問題。
最終，問題的解決有賴於幾大要素的實現。其中之一就是移動芯片已經足夠強勁，可以投入實際使用。
但這一點並非最重要的因素。起到更關鍵作用的，是Facebook人工智能部門在揚·勒丘恩（Yann LeCun）和其他員工的努力下，正在進行的計算機視覺（computer vision）研究。
機器學習模型會預先加載，在解決計算機視覺問題時所需的大量步驟，並且，如果對計算機理解和推理的要求不高的話，可以選擇更加輕量化的計算機引擎。將高效的、基於邊緣定向（edge-oriented）的機器學習應用到工作中，會離可行的解決方案更近一步。
然而，大部分工作還需要在多個系統中進行復雜的實時交互，從而完成SLAM操作。
斯科洛普夫表示：“我想說，機器學習的應用只是說起來容易，實際上，想要讓它發揮作用還需要做出很多努力。”
“比方說，假設你的系統中有一個慣性測量單元（inertial measurement unit，IMU）（譯註：一種精度更高的定位技術），它的運行頻率非常高，可能高達1000赫茲，總之就是遠高於系統中其他部分（比如傳感器等，但不包括處理器）的頻率。但是它自身也會產生很多錯誤。
“再假設，我們有能力在各個獨立線程上，分別運行追蹤器和映射器。但事實上，我們只會在多個線程上運行一個公共映射器，因為映射器是系統中成本最高的部分。
“多線程編程在一開始運行時會比較艱難，但如果你可以合理運作這三者（IMU裝置、追蹤器和映射器），那麼它們就能以很有意思的方式共享數據，並且快速完成計算。”
說到這兒，斯科洛普夫突然發覺：“恐怕我得花三個小時才能向你解釋清楚這些複雜繁瑣的工作。”
在全新跟蹤技術Oculus Insight的開發過程中，開發人員也進行了廣泛的測試。
他們利用商用動態追蹤裝置，追蹤戴著頭盔和控制器的測試者，並使用OptiTrack設備（一種高端光學動作捕捉設備）來精準捕捉用戶動作，以此生成標準參考結果。
為了研究算法和傳感系統如何運作，他們會整理測試數據，並還原成模擬場景：數據包括攝像機錄製的視頻，從IMU中採集到的數據，以及其他相關指標。
如果模擬結果接近標準參考結果，那麼就判定系統的執行情況為良好。如果不接近，那麼工程師就會調整系統的參數，然後再次進行測試和模擬。
在一次次模擬、對比結果、調整參數後，系統能在生成標準結果的前提下，變得更小巧、更高效。
最終它的性能需要達到與標準Oculus Rift頭盔一樣，甚至更高的水平。因為不管有多便宜，都沒有人會去購買比舊版本性能更低的頭盔。
“先不提與標準參考結果相比，我們的實驗錯誤率如何。讓我們來探討一下，在完整的使用過程中，它的實際表現如何，”斯科洛普夫說：“我們團隊中有些Beat Saber的忠實玩家。當我們進入研發的最後階段時，他們會同時測試Rift和Quest兩種頭盔。
“我們的目標是，同一個人使用Quest後得到的遊戲分數，應該與用Rift時得的分數一樣，甚至更高。這是衡量微觀指標的一種好方法，也正是我們為了滿足用戶想要的最終體驗，所需要達成的目標。”
Quest頭盔雖然便宜，但它的性能並不低
激光雷達的價格十分昂貴，因此即便是汽車製造商選擇安裝時都會非常謹慎。而用激光時差測距或像Kinect（微軟的一款運用結構光的體感設備）這樣的結構光采集方法也會使得成本上升。儘管後來，業內逐漸採用3D感應工具，從而大規模解決了成本問題。
他說：“因為從長期發展來說，我們還是想控制產品成本，所以我們當時考慮的是，如果不採用那些昂貴的工具，我們是否能得到同樣準確的結果。”
“當和計算機視覺團隊交談後我們發現，他們非常看好背靠強大算法的攝像機，認為可以用它們來解決問題。因此從長遠來看，從大多數用戶的使用情況來看，我們希望能夠採取‘內向外’追蹤方法。”
我也提出了我的擔憂，目前，並非所有人都認可VR是一個成熟產業，而技術上的解決方案，可能無法消除“心理上的偏見”等多方面的問題。
斯科洛普夫回答說，VR的運用尚存三個基本問題：成本、磨合和內容。
成本問題不言而喻，近幾年的設備價格也沒有下降的趨勢。Sony旗下的VR頭盔PlayStation VR很早就建立了低價市場，但是“實際上”VR設備仍然很昂貴。
磨合問題是指用戶從“開箱”到“開始遊戲”，需要設置和適應，這一直都是VR在實際使用中的一個難題。
Oculus Quest能夠同時解決這兩個問題。這款頭盔不僅價格僅為400美元，而且，正如我們在評論中說的那樣，它非常容易上手和使用。所以計算機視覺研究還是有所成效的。
然而目前，內容問題依然很明顯。儘管有幾款小火的遊戲（Superhot和Beat Saber等），但要吸引主流玩家投入VR遊戲中，仍需要開發出更多的熱門遊戲。
斯科洛普夫承認：“我相信當我們把這些頭盔交給遊戲開發者後，他們就會產生各種遊戲靈感。所以我認為我們現在仍處於早期階段，這些遊戲平臺仍需要一些時間來充實平臺內容。”
“我認為每個人都應該耐心等待，這需要一點時間。但這是我們抵達成功的必經之路。我們將繼續堅持不懈，儘可能快地製作出更好、更多的遊戲，為消費者帶來更好的VR體驗，做出更好的VR頭盔。”
來源：TechCrunch
作者：德文·庫德維（Devin Coldewey）
原文鏈接：https://techcrunch.com/2019/08/22/how-oculus-squeezed-sophisticated-tracking-into-pipsqueak-hardware/
VR一體機Oculus Quest的設計目標是讓VR體驗變得簡單輕便，它也確實做到了這一點。
但實際上，從原本的由室內物品來跟蹤頭盔，發展為由頭盔來追蹤室內物品，是一個非常複雜的過程。於是我和Facebook首席技術官麥克·斯科洛普夫（Mike Schroepfer）討論了頭盔由“外向內（outside-in）”到“內向外（inside-out）”的追蹤方案轉變。
當玩家佩戴上VR頭盔和控制器，移動頭和手時，VR系統中的某些部分必須時刻確保能準確追蹤到用戶頭和手的位置。
通常可採用兩種方法：一種是“外向內”追蹤——將傳感器安裝在房間內的不同位置，從外部識別頭盔及其內部嵌入式LED屏幕的相對位置；另一種是“內向外”追蹤——將設備本身集成為傳感器，頭盔從內部追蹤房間裡的基準點，以時刻調整移動時的位置座標。
兩者都有各自的優缺點。但如果你想設計一個無線系統，那麼最好選擇“內向外”追蹤方法，這樣就無需在頭盔和計算機之間傳輸無線信號以追蹤實時位置，也就能避免出現信號延遲、影響用戶VR體驗。
Facebook和它旗下的VR頭戴設備製造商Oculus幾年前設定了一個目標——不僅要採取“內向外”追蹤，還要使其準確度比肩（甚至超越）必須與高端計算機相連接的“外向內”追蹤系統。
不僅如此，他們還希望這個設備在任何地方都能運行，而不僅僅受限於由無線電信標或其他信標限制好邊界的場景中；而且在戴上VR頭盔幾秒內就可開始運行。
最終的成果就是令人印象深刻的Quest頭盔，它成功達到了上述要求（儘管它在其他方面並沒有實現較大的飛躍）。
讓人印象深刻的是，Quest頭盔不但能夠追蹤周圍物體的位置，轉換生成頭盔自身的準確3D位置，而且實時轉換所需的功耗，僅為普通計算機轉換所需功耗的一小部分。
“儘管之前還有很多質疑聲，”斯科洛普夫說道，“但我目前還沒有看到過，性能可與之媲美的系統。”
Quest頭盔採用的技術叫作同步定位與建圖（Simulation Localization And Mapping，下稱SLAM）。它大體上可概括為，在構建周邊環境的3D地圖的同時進行自身定位。
當然，機器人在這方面操作上已經駕輕就熟了，但它們通常使用雷達之類的專業硬件來進行定位，它們的處理器也更為強大。而Quest頭盔使用的不過是普通攝像機。
“如果身處在一間倉庫中，我需要確保我的照明正常，這樣一旦遇到問題，我就可以靠標記在牆上的基準點來重置定位原點——這就相當於大幅度地簡化了問題。”斯科洛普夫說。
“當然我並不是讓你在牆上標記有形的基準點。我們也不會讓你在房子周圍標記二維碼，或是能精準定位的GPS座標。”
“就算Quest頭盔在此之前從未見過你的客廳，它也必須要在這個新環境中開始工作。
“在客廳這種相對受限的環境中，我們會設置一個移動處理器，它主要也是負責處理環境內的內容信息。機器人可不需要在巡視倉庫的同時，還玩Beat Saber（一款VR音樂遊戲）。”
因此從各個方面來看，轉換追蹤方式都是一個難題，團隊多年來也一直在努力解決這個問題。
最終，問題的解決有賴於幾大要素的實現。其中之一就是移動芯片已經足夠強勁，可以投入實際使用。
但這一點並非最重要的因素。起到更關鍵作用的，是Facebook人工智能部門在揚·勒丘恩（Yann LeCun）和其他員工的努力下，正在進行的計算機視覺（computer vision）研究。
機器學習模型會預先加載，在解決計算機視覺問題時所需的大量步驟，並且，如果對計算機理解和推理的要求不高的話，可以選擇更加輕量化的計算機引擎。將高效的、基於邊緣定向（edge-oriented）的機器學習應用到工作中，會離可行的解決方案更近一步。
然而，大部分工作還需要在多個系統中進行復雜的實時交互，從而完成SLAM操作。
斯科洛普夫表示：“我想說，機器學習的應用只是說起來容易，實際上，想要讓它發揮作用還需要做出很多努力。”
“比方說，假設你的系統中有一個慣性測量單元（inertial measurement unit，IMU）（譯註：一種精度更高的定位技術），它的運行頻率非常高，可能高達1000赫茲，總之就是遠高於系統中其他部分（比如傳感器等，但不包括處理器）的頻率。但是它自身也會產生很多錯誤。
“再假設，我們有能力在各個獨立線程上，分別運行追蹤器和映射器。但事實上，我們只會在多個線程上運行一個公共映射器，因為映射器是系統中成本最高的部分。
“多線程編程在一開始運行時會比較艱難，但如果你可以合理運作這三者（IMU裝置、追蹤器和映射器），那麼它們就能以很有意思的方式共享數據，並且快速完成計算。”
說到這兒，斯科洛普夫突然發覺：“恐怕我得花三個小時才能向你解釋清楚這些複雜繁瑣的工作。”
在全新跟蹤技術Oculus Insight的開發過程中，開發人員也進行了廣泛的測試。
他們利用商用動態追蹤裝置，追蹤戴著頭盔和控制器的測試者，並使用OptiTrack設備（一種高端光學動作捕捉設備）來精準捕捉用戶動作，以此生成標準參考結果。
為了研究算法和傳感系統如何運作，他們會整理測試數據，並還原成模擬場景：數據包括攝像機錄製的視頻，從IMU中採集到的數據，以及其他相關指標。
如果模擬結果接近標準參考結果，那麼就判定系統的執行情況為良好。如果不接近，那麼工程師就會調整系統的參數，然後再次進行測試和模擬。
在一次次模擬、對比結果、調整參數後，系統能在生成標準結果的前提下，變得更小巧、更高效。
最終它的性能需要達到與標準Oculus Rift頭盔一樣，甚至更高的水平。因為不管有多便宜，都沒有人會去購買比舊版本性能更低的頭盔。
“先不提與標準參考結果相比，我們的實驗錯誤率如何。讓我們來探討一下，在完整的使用過程中，它的實際表現如何，”斯科洛普夫說：“我們團隊中有些Beat Saber的忠實玩家。當我們進入研發的最後階段時，他們會同時測試Rift和Quest兩種頭盔。
“我們的目標是，同一個人使用Quest後得到的遊戲分數，應該與用Rift時得的分數一樣，甚至更高。這是衡量微觀指標的一種好方法，也正是我們為了滿足用戶想要的最終體驗，所需要達成的目標。”
Quest頭盔雖然便宜，但它的性能並不低
激光雷達的價格十分昂貴，因此即便是汽車製造商選擇安裝時都會非常謹慎。而用激光時差測距或像Kinect（微軟的一款運用結構光的體感設備）這樣的結構光采集方法也會使得成本上升。儘管後來，業內逐漸採用3D感應工具，從而大規模解決了成本問題。
他說：“因為從長期發展來說，我們還是想控制產品成本，所以我們當時考慮的是，如果不採用那些昂貴的工具，我們是否能得到同樣準確的結果。”
“當和計算機視覺團隊交談後我們發現，他們非常看好背靠強大算法的攝像機，認為可以用它們來解決問題。因此從長遠來看，從大多數用戶的使用情況來看，我們希望能夠採取‘內向外’追蹤方法。”
我也提出了我的擔憂，目前，並非所有人都認可VR是一個成熟產業，而技術上的解決方案，可能無法消除“心理上的偏見”等多方面的問題。
斯科洛普夫回答說，VR的運用尚存三個基本問題：成本、磨合和內容。
成本問題不言而喻，近幾年的設備價格也沒有下降的趨勢。Sony旗下的VR頭盔PlayStation VR很早就建立了低價市場，但是“實際上”VR設備仍然很昂貴。
磨合問題是指用戶從“開箱”到“開始遊戲”，需要設置和適應，這一直都是VR在實際使用中的一個難題。
Oculus Quest能夠同時解決這兩個問題。這款頭盔不僅價格僅為400美元，而且，正如我們在評論中說的那樣，它非常容易上手和使用。所以計算機視覺研究還是有所成效的。
然而目前，內容問題依然很明顯。儘管有幾款小火的遊戲（Superhot和Beat Saber等），但要吸引主流玩家投入VR遊戲中，仍需要開發出更多的熱門遊戲。
斯科洛普夫承認：“我相信當我們把這些頭盔交給遊戲開發者後，他們就會產生各種遊戲靈感。所以我認為我們現在仍處於早期階段，這些遊戲平臺仍需要一些時間來充實平臺內容。”
“我認為每個人都應該耐心等待，這需要一點時間。但這是我們抵達成功的必經之路。我們將繼續堅持不懈，儘可能快地製作出更好、更多的遊戲，為消費者帶來更好的VR體驗，做出更好的VR頭盔。”