'Oculus最強軟件方案,未來AR/VR都靠它'

"

當Facebook公佈Rift S產品時,大家一致的將目光放在Inside-Out定位上,同時手柄和Quest通用也表明兩者定位追蹤效果上似乎差距不大。

當然也有一些朋友質疑其追蹤範圍和追蹤效果,Facebook則表示:​Insight追蹤技術已經足夠接近此前Rift的Outside-In追蹤效果,幾乎沒有公司能做到這一點,並認為這種省去基站的追蹤方式是C端VR的趨勢,未來還將不斷對其優化。

"

當Facebook公佈Rift S產品時,大家一致的將目光放在Inside-Out定位上,同時手柄和Quest通用也表明兩者定位追蹤效果上似乎差距不大。

當然也有一些朋友質疑其追蹤範圍和追蹤效果,Facebook則表示:​Insight追蹤技術已經足夠接近此前Rift的Outside-In追蹤效果,幾乎沒有公司能做到這一點,並認為這種省去基站的追蹤方式是C端VR的趨勢,未來還將不斷對其優化。

Oculus最強軟件方案,未來AR/VR都靠它

那麼Insight追蹤到底神奇在哪裡?除了更方便你在VR中移動外,更重要的是它處採用了基於計算機視覺的SLAM技術,可提供準確度達毫米級的追蹤效果。今天,Facebook就在一篇博客中闡述了這項技術的誕生和開發過程,接下來就跟隨青亭網來了解一下。

Insight追蹤的誕生,與一名叫Anna Kozminski的軟件開發經理有很大淵源。據悉,當她在2018年加入Oculus的時候,有一個明確的目標,那就是:幫助VR設備擺脫連接線的束縛,使得任何人可以隨時隨地戴上頭顯後都能立刻進入沉浸的VR世界,不需要配備額外的追蹤基站。

"

當Facebook公佈Rift S產品時,大家一致的將目光放在Inside-Out定位上,同時手柄和Quest通用也表明兩者定位追蹤效果上似乎差距不大。

當然也有一些朋友質疑其追蹤範圍和追蹤效果,Facebook則表示:​Insight追蹤技術已經足夠接近此前Rift的Outside-In追蹤效果,幾乎沒有公司能做到這一點,並認為這種省去基站的追蹤方式是C端VR的趨勢,未來還將不斷對其優化。

Oculus最強軟件方案,未來AR/VR都靠它

那麼Insight追蹤到底神奇在哪裡?除了更方便你在VR中移動外,更重要的是它處採用了基於計算機視覺的SLAM技術,可提供準確度達毫米級的追蹤效果。今天,Facebook就在一篇博客中闡述了這項技術的誕生和開發過程,接下來就跟隨青亭網來了解一下。

Insight追蹤的誕生,與一名叫Anna Kozminski的軟件開發經理有很大淵源。據悉,當她在2018年加入Oculus的時候,有一個明確的目標,那就是:幫助VR設備擺脫連接線的束縛,使得任何人可以隨時隨地戴上頭顯後都能立刻進入沉浸的VR世界,不需要配備額外的追蹤基站。

Oculus最強軟件方案,未來AR/VR都靠它

Kozminski表示:Oculus希望打造一款,能夠像在現實生活中一樣在VR移動的VR頭顯。而採用inside-out追蹤後,VR頭顯的體驗感也能像耳機那麼方便了。

在Insight問世之前,Oculus Rift依賴外部基站來實現對手柄和頭顯的追蹤,這些基站追蹤效果足夠好,不過需要與PC相連,如果用戶想從一個房間移動到另一個房間,就需要重新擺放這些基站,並不很方便。

於是Kosminski所在的團隊希望利用功能足夠全面的inside-out定位系統,取代原來C端VR頭顯使用的outside-in。而功能全面指的是,可實現6DoF手柄追蹤,還要能精準定位兩個手柄和頭顯的位置。

但這個目標卻並不簡單,Kosminski和團隊面臨諸多挑戰,比如:將研究實驗室的頂尖計算機視覺技術應用人人都能使用的C端VR頭顯中,而且還要將追蹤誤差控制在毫米級以下,能識別到用戶頭部微微的傾斜,或者手的抖動,同時還要適用於無數種不同的家庭場景。另一方面,該追蹤方案還需要足夠省電,以便用在Oculus Quest這種VR一體機中。

開發先進SLAM技術

為解決這些問題,Kozminski和團隊決定先使用計算機視覺和定製的算法來生成周圍環境的實時3D地圖,接著讓VR頭顯在地圖中計算出用戶的位置,然後轉化到VR中。就這樣,一種名為Insight的追蹤系統誕生了。

Insight追蹤方案以SLAM技術(即時定位與地圖構建)為基礎,其原理是通過融合計算機視覺與多個傳感器捕捉到的數據,在不斷更新的數字地圖中對物品進行定位。

當然,SLAM並不是一項新技術,此前曾用於機器人(比如掃地機)和智能手機的AR功能中,而且在2016年的時候Oculus也曾通過Santa Cruz VR原型機(Quest前身)對其進行展示。

而與普通的SLAM技術不同的是,Oculus Insight需要高精準度、高效率的定位,因此要採用來自實驗室的追蹤和計算機視覺最新技術。

據瞭解,Insight所採用的技術中有很多誕生自實驗室,而且Kozminski的團隊中有許多工程師來自於蘇黎世聯邦理工學院和蘇黎世大學聯合組建的公司Zurich Eye,這家公司在2016年被Facebook收購,曾專注與研究基於計算機視覺的自動導航系統。

該團隊在為Insight開發SLAM技術的時候,借用了Facebook在AI領域的多年研究和工程經驗,開發了一款在視頻中識別目標和動作的SLAM系統,和一個適合在移動VR設備中運行的高效計算機視覺算法。

提高SLAM追蹤效率

"

當Facebook公佈Rift S產品時,大家一致的將目光放在Inside-Out定位上,同時手柄和Quest通用也表明兩者定位追蹤效果上似乎差距不大。

當然也有一些朋友質疑其追蹤範圍和追蹤效果,Facebook則表示:​Insight追蹤技術已經足夠接近此前Rift的Outside-In追蹤效果,幾乎沒有公司能做到這一點,並認為這種省去基站的追蹤方式是C端VR的趨勢,未來還將不斷對其優化。

Oculus最強軟件方案,未來AR/VR都靠它

那麼Insight追蹤到底神奇在哪裡?除了更方便你在VR中移動外,更重要的是它處採用了基於計算機視覺的SLAM技術,可提供準確度達毫米級的追蹤效果。今天,Facebook就在一篇博客中闡述了這項技術的誕生和開發過程,接下來就跟隨青亭網來了解一下。

Insight追蹤的誕生,與一名叫Anna Kozminski的軟件開發經理有很大淵源。據悉,當她在2018年加入Oculus的時候,有一個明確的目標,那就是:幫助VR設備擺脫連接線的束縛,使得任何人可以隨時隨地戴上頭顯後都能立刻進入沉浸的VR世界,不需要配備額外的追蹤基站。

Oculus最強軟件方案,未來AR/VR都靠它

Kozminski表示:Oculus希望打造一款,能夠像在現實生活中一樣在VR移動的VR頭顯。而採用inside-out追蹤後,VR頭顯的體驗感也能像耳機那麼方便了。

在Insight問世之前,Oculus Rift依賴外部基站來實現對手柄和頭顯的追蹤,這些基站追蹤效果足夠好,不過需要與PC相連,如果用戶想從一個房間移動到另一個房間,就需要重新擺放這些基站,並不很方便。

於是Kosminski所在的團隊希望利用功能足夠全面的inside-out定位系統,取代原來C端VR頭顯使用的outside-in。而功能全面指的是,可實現6DoF手柄追蹤,還要能精準定位兩個手柄和頭顯的位置。

但這個目標卻並不簡單,Kosminski和團隊面臨諸多挑戰,比如:將研究實驗室的頂尖計算機視覺技術應用人人都能使用的C端VR頭顯中,而且還要將追蹤誤差控制在毫米級以下,能識別到用戶頭部微微的傾斜,或者手的抖動,同時還要適用於無數種不同的家庭場景。另一方面,該追蹤方案還需要足夠省電,以便用在Oculus Quest這種VR一體機中。

開發先進SLAM技術

為解決這些問題,Kozminski和團隊決定先使用計算機視覺和定製的算法來生成周圍環境的實時3D地圖,接著讓VR頭顯在地圖中計算出用戶的位置,然後轉化到VR中。就這樣,一種名為Insight的追蹤系統誕生了。

Insight追蹤方案以SLAM技術(即時定位與地圖構建)為基礎,其原理是通過融合計算機視覺與多個傳感器捕捉到的數據,在不斷更新的數字地圖中對物品進行定位。

當然,SLAM並不是一項新技術,此前曾用於機器人(比如掃地機)和智能手機的AR功能中,而且在2016年的時候Oculus也曾通過Santa Cruz VR原型機(Quest前身)對其進行展示。

而與普通的SLAM技術不同的是,Oculus Insight需要高精準度、高效率的定位,因此要採用來自實驗室的追蹤和計算機視覺最新技術。

據瞭解,Insight所採用的技術中有很多誕生自實驗室,而且Kozminski的團隊中有許多工程師來自於蘇黎世聯邦理工學院和蘇黎世大學聯合組建的公司Zurich Eye,這家公司在2016年被Facebook收購,曾專注與研究基於計算機視覺的自動導航系統。

該團隊在為Insight開發SLAM技術的時候,借用了Facebook在AI領域的多年研究和工程經驗,開發了一款在視頻中識別目標和動作的SLAM系統,和一個適合在移動VR設備中運行的高效計算機視覺算法。

提高SLAM追蹤效率

Oculus最強軟件方案,未來AR/VR都靠它

前面也提到,若要將Insight用在Quest VR一體機上,那麼它需要足夠省電。因此,為了優化該追蹤方案的效率,Kozminksi找來了團隊中的首席機器感知架構師Oskar Linde和工程經理Joel Hesch,在這三個人的帶領下,Insight團隊借鑑了Facebook此前在移動端SLAM上和Outside-in追蹤上的研究經驗,改造出可內置在VR頭顯的inside-out定位系統。

Kozminksi找來的這兩個人來頭不小,Linde在高效SLAM領域有足夠多經驗,他曾經是13th Lab的聯合創始人之一,這家公司曾在2011年展示過當時世界首例用於移動AR遊戲的SLAM技術,後來在2014年被Facebook收購。Linde也一同加入Facebook,並創建了Insight追蹤的開發團隊。而Hesch此前也在用於機器人定位、移動AR/VR的視覺、激光和慣性傳感器相關的SLAM應用上有一定經驗。

他們發現,在手機上,SLAM功能只需要使用手機的單一攝像頭,相比之下,VR頭顯具備更多攝像頭、傳感器,而且在3D空間中還需要同時追蹤3個不同的目標。

Kozminski表示:VR的追蹤系統需要同時追蹤三樣東西,即:VR頭顯和兩個手柄,而且還需要保證實時的準確性。

除此之外,將Insight追蹤用在VR頭顯也需要克服一些其他其他困難,比如:兩個VR手柄在靠近或遠離頭顯的時候(例如揮動虛擬劍或操控虛擬太空船時),上面的紅外LED燈也會徹底改變外觀。另外,Insight採用多個傳感器,需要從頭顯和手柄的觀星測量單元中提取加速和速度數據,而且還要實時處理這些數據點。如果用在Quest上,這些計算工作都需要在高通驍龍835移動芯片上完成。

提高追蹤準確度

為了解決上述問題,Oculus Insight團隊決定先優化整個追蹤系統。於是開發了一個優化追蹤系統準確度和速度的計算機視覺算法,然後錄製了來自大量不同樣品環境的數千小時視頻,用這些視頻訓練算法去識別環境中的特徵。

在識別到環境特徵後,Insight系統可通過追蹤沙發的角落或桌子邊緣,用三角測量法實時捕捉用戶在房間內的具體位置,原理類似於人眼通過識別周圍物體來確定方向。

接著,為了進一步將計算機視覺算法的精準度提高到毫米級別,Insight團隊還採用多個OptiTrack動捕傳感器來對比追蹤定位的結果。

關於優化UX

"

當Facebook公佈Rift S產品時,大家一致的將目光放在Inside-Out定位上,同時手柄和Quest通用也表明兩者定位追蹤效果上似乎差距不大。

當然也有一些朋友質疑其追蹤範圍和追蹤效果,Facebook則表示:​Insight追蹤技術已經足夠接近此前Rift的Outside-In追蹤效果,幾乎沒有公司能做到這一點,並認為這種省去基站的追蹤方式是C端VR的趨勢,未來還將不斷對其優化。

Oculus最強軟件方案,未來AR/VR都靠它

那麼Insight追蹤到底神奇在哪裡?除了更方便你在VR中移動外,更重要的是它處採用了基於計算機視覺的SLAM技術,可提供準確度達毫米級的追蹤效果。今天,Facebook就在一篇博客中闡述了這項技術的誕生和開發過程,接下來就跟隨青亭網來了解一下。

Insight追蹤的誕生,與一名叫Anna Kozminski的軟件開發經理有很大淵源。據悉,當她在2018年加入Oculus的時候,有一個明確的目標,那就是:幫助VR設備擺脫連接線的束縛,使得任何人可以隨時隨地戴上頭顯後都能立刻進入沉浸的VR世界,不需要配備額外的追蹤基站。

Oculus最強軟件方案,未來AR/VR都靠它

Kozminski表示:Oculus希望打造一款,能夠像在現實生活中一樣在VR移動的VR頭顯。而採用inside-out追蹤後,VR頭顯的體驗感也能像耳機那麼方便了。

在Insight問世之前,Oculus Rift依賴外部基站來實現對手柄和頭顯的追蹤,這些基站追蹤效果足夠好,不過需要與PC相連,如果用戶想從一個房間移動到另一個房間,就需要重新擺放這些基站,並不很方便。

於是Kosminski所在的團隊希望利用功能足夠全面的inside-out定位系統,取代原來C端VR頭顯使用的outside-in。而功能全面指的是,可實現6DoF手柄追蹤,還要能精準定位兩個手柄和頭顯的位置。

但這個目標卻並不簡單,Kosminski和團隊面臨諸多挑戰,比如:將研究實驗室的頂尖計算機視覺技術應用人人都能使用的C端VR頭顯中,而且還要將追蹤誤差控制在毫米級以下,能識別到用戶頭部微微的傾斜,或者手的抖動,同時還要適用於無數種不同的家庭場景。另一方面,該追蹤方案還需要足夠省電,以便用在Oculus Quest這種VR一體機中。

開發先進SLAM技術

為解決這些問題,Kozminski和團隊決定先使用計算機視覺和定製的算法來生成周圍環境的實時3D地圖,接著讓VR頭顯在地圖中計算出用戶的位置,然後轉化到VR中。就這樣,一種名為Insight的追蹤系統誕生了。

Insight追蹤方案以SLAM技術(即時定位與地圖構建)為基礎,其原理是通過融合計算機視覺與多個傳感器捕捉到的數據,在不斷更新的數字地圖中對物品進行定位。

當然,SLAM並不是一項新技術,此前曾用於機器人(比如掃地機)和智能手機的AR功能中,而且在2016年的時候Oculus也曾通過Santa Cruz VR原型機(Quest前身)對其進行展示。

而與普通的SLAM技術不同的是,Oculus Insight需要高精準度、高效率的定位,因此要採用來自實驗室的追蹤和計算機視覺最新技術。

據瞭解,Insight所採用的技術中有很多誕生自實驗室,而且Kozminski的團隊中有許多工程師來自於蘇黎世聯邦理工學院和蘇黎世大學聯合組建的公司Zurich Eye,這家公司在2016年被Facebook收購,曾專注與研究基於計算機視覺的自動導航系統。

該團隊在為Insight開發SLAM技術的時候,借用了Facebook在AI領域的多年研究和工程經驗,開發了一款在視頻中識別目標和動作的SLAM系統,和一個適合在移動VR設備中運行的高效計算機視覺算法。

提高SLAM追蹤效率

Oculus最強軟件方案,未來AR/VR都靠它

前面也提到,若要將Insight用在Quest VR一體機上,那麼它需要足夠省電。因此,為了優化該追蹤方案的效率,Kozminksi找來了團隊中的首席機器感知架構師Oskar Linde和工程經理Joel Hesch,在這三個人的帶領下,Insight團隊借鑑了Facebook此前在移動端SLAM上和Outside-in追蹤上的研究經驗,改造出可內置在VR頭顯的inside-out定位系統。

Kozminksi找來的這兩個人來頭不小,Linde在高效SLAM領域有足夠多經驗,他曾經是13th Lab的聯合創始人之一,這家公司曾在2011年展示過當時世界首例用於移動AR遊戲的SLAM技術,後來在2014年被Facebook收購。Linde也一同加入Facebook,並創建了Insight追蹤的開發團隊。而Hesch此前也在用於機器人定位、移動AR/VR的視覺、激光和慣性傳感器相關的SLAM應用上有一定經驗。

他們發現,在手機上,SLAM功能只需要使用手機的單一攝像頭,相比之下,VR頭顯具備更多攝像頭、傳感器,而且在3D空間中還需要同時追蹤3個不同的目標。

Kozminski表示:VR的追蹤系統需要同時追蹤三樣東西,即:VR頭顯和兩個手柄,而且還需要保證實時的準確性。

除此之外,將Insight追蹤用在VR頭顯也需要克服一些其他其他困難,比如:兩個VR手柄在靠近或遠離頭顯的時候(例如揮動虛擬劍或操控虛擬太空船時),上面的紅外LED燈也會徹底改變外觀。另外,Insight採用多個傳感器,需要從頭顯和手柄的觀星測量單元中提取加速和速度數據,而且還要實時處理這些數據點。如果用在Quest上,這些計算工作都需要在高通驍龍835移動芯片上完成。

提高追蹤準確度

為了解決上述問題,Oculus Insight團隊決定先優化整個追蹤系統。於是開發了一個優化追蹤系統準確度和速度的計算機視覺算法,然後錄製了來自大量不同樣品環境的數千小時視頻,用這些視頻訓練算法去識別環境中的特徵。

在識別到環境特徵後,Insight系統可通過追蹤沙發的角落或桌子邊緣,用三角測量法實時捕捉用戶在房間內的具體位置,原理類似於人眼通過識別周圍物體來確定方向。

接著,為了進一步將計算機視覺算法的精準度提高到毫米級別,Insight團隊還採用多個OptiTrack動捕傳感器來對比追蹤定位的結果。

關於優化UX

Oculus最強軟件方案,未來AR/VR都靠它

儘管穩定性和準確性對於定位追蹤很重要,但由於這將會成為用戶經常使用的功能,體驗感當然也是一大要素。比如,需要解決VR帶來的一些感知缺陷,包括當身體的移動與在虛擬世界中的移動不匹配時,所產生的方向迷失感,又或者是視覺抖動(每一幀之間的視覺頻閃和拖尾效應)等等。

此外為了更好的體驗感,Insight團隊花費大量時間和精力,以自己為實驗對象,配合OptiTrack追蹤系統在各種環境和情形下測試Insight追蹤效果。

"

當Facebook公佈Rift S產品時,大家一致的將目光放在Inside-Out定位上,同時手柄和Quest通用也表明兩者定位追蹤效果上似乎差距不大。

當然也有一些朋友質疑其追蹤範圍和追蹤效果,Facebook則表示:​Insight追蹤技術已經足夠接近此前Rift的Outside-In追蹤效果,幾乎沒有公司能做到這一點,並認為這種省去基站的追蹤方式是C端VR的趨勢,未來還將不斷對其優化。

Oculus最強軟件方案,未來AR/VR都靠它

那麼Insight追蹤到底神奇在哪裡?除了更方便你在VR中移動外,更重要的是它處採用了基於計算機視覺的SLAM技術,可提供準確度達毫米級的追蹤效果。今天,Facebook就在一篇博客中闡述了這項技術的誕生和開發過程,接下來就跟隨青亭網來了解一下。

Insight追蹤的誕生,與一名叫Anna Kozminski的軟件開發經理有很大淵源。據悉,當她在2018年加入Oculus的時候,有一個明確的目標,那就是:幫助VR設備擺脫連接線的束縛,使得任何人可以隨時隨地戴上頭顯後都能立刻進入沉浸的VR世界,不需要配備額外的追蹤基站。

Oculus最強軟件方案,未來AR/VR都靠它

Kozminski表示:Oculus希望打造一款,能夠像在現實生活中一樣在VR移動的VR頭顯。而採用inside-out追蹤後,VR頭顯的體驗感也能像耳機那麼方便了。

在Insight問世之前,Oculus Rift依賴外部基站來實現對手柄和頭顯的追蹤,這些基站追蹤效果足夠好,不過需要與PC相連,如果用戶想從一個房間移動到另一個房間,就需要重新擺放這些基站,並不很方便。

於是Kosminski所在的團隊希望利用功能足夠全面的inside-out定位系統,取代原來C端VR頭顯使用的outside-in。而功能全面指的是,可實現6DoF手柄追蹤,還要能精準定位兩個手柄和頭顯的位置。

但這個目標卻並不簡單,Kosminski和團隊面臨諸多挑戰,比如:將研究實驗室的頂尖計算機視覺技術應用人人都能使用的C端VR頭顯中,而且還要將追蹤誤差控制在毫米級以下,能識別到用戶頭部微微的傾斜,或者手的抖動,同時還要適用於無數種不同的家庭場景。另一方面,該追蹤方案還需要足夠省電,以便用在Oculus Quest這種VR一體機中。

開發先進SLAM技術

為解決這些問題,Kozminski和團隊決定先使用計算機視覺和定製的算法來生成周圍環境的實時3D地圖,接著讓VR頭顯在地圖中計算出用戶的位置,然後轉化到VR中。就這樣,一種名為Insight的追蹤系統誕生了。

Insight追蹤方案以SLAM技術(即時定位與地圖構建)為基礎,其原理是通過融合計算機視覺與多個傳感器捕捉到的數據,在不斷更新的數字地圖中對物品進行定位。

當然,SLAM並不是一項新技術,此前曾用於機器人(比如掃地機)和智能手機的AR功能中,而且在2016年的時候Oculus也曾通過Santa Cruz VR原型機(Quest前身)對其進行展示。

而與普通的SLAM技術不同的是,Oculus Insight需要高精準度、高效率的定位,因此要採用來自實驗室的追蹤和計算機視覺最新技術。

據瞭解,Insight所採用的技術中有很多誕生自實驗室,而且Kozminski的團隊中有許多工程師來自於蘇黎世聯邦理工學院和蘇黎世大學聯合組建的公司Zurich Eye,這家公司在2016年被Facebook收購,曾專注與研究基於計算機視覺的自動導航系統。

該團隊在為Insight開發SLAM技術的時候,借用了Facebook在AI領域的多年研究和工程經驗,開發了一款在視頻中識別目標和動作的SLAM系統,和一個適合在移動VR設備中運行的高效計算機視覺算法。

提高SLAM追蹤效率

Oculus最強軟件方案,未來AR/VR都靠它

前面也提到,若要將Insight用在Quest VR一體機上,那麼它需要足夠省電。因此,為了優化該追蹤方案的效率,Kozminksi找來了團隊中的首席機器感知架構師Oskar Linde和工程經理Joel Hesch,在這三個人的帶領下,Insight團隊借鑑了Facebook此前在移動端SLAM上和Outside-in追蹤上的研究經驗,改造出可內置在VR頭顯的inside-out定位系統。

Kozminksi找來的這兩個人來頭不小,Linde在高效SLAM領域有足夠多經驗,他曾經是13th Lab的聯合創始人之一,這家公司曾在2011年展示過當時世界首例用於移動AR遊戲的SLAM技術,後來在2014年被Facebook收購。Linde也一同加入Facebook,並創建了Insight追蹤的開發團隊。而Hesch此前也在用於機器人定位、移動AR/VR的視覺、激光和慣性傳感器相關的SLAM應用上有一定經驗。

他們發現,在手機上,SLAM功能只需要使用手機的單一攝像頭,相比之下,VR頭顯具備更多攝像頭、傳感器,而且在3D空間中還需要同時追蹤3個不同的目標。

Kozminski表示:VR的追蹤系統需要同時追蹤三樣東西,即:VR頭顯和兩個手柄,而且還需要保證實時的準確性。

除此之外,將Insight追蹤用在VR頭顯也需要克服一些其他其他困難,比如:兩個VR手柄在靠近或遠離頭顯的時候(例如揮動虛擬劍或操控虛擬太空船時),上面的紅外LED燈也會徹底改變外觀。另外,Insight採用多個傳感器,需要從頭顯和手柄的觀星測量單元中提取加速和速度數據,而且還要實時處理這些數據點。如果用在Quest上,這些計算工作都需要在高通驍龍835移動芯片上完成。

提高追蹤準確度

為了解決上述問題,Oculus Insight團隊決定先優化整個追蹤系統。於是開發了一個優化追蹤系統準確度和速度的計算機視覺算法,然後錄製了來自大量不同樣品環境的數千小時視頻,用這些視頻訓練算法去識別環境中的特徵。

在識別到環境特徵後,Insight系統可通過追蹤沙發的角落或桌子邊緣,用三角測量法實時捕捉用戶在房間內的具體位置,原理類似於人眼通過識別周圍物體來確定方向。

接著,為了進一步將計算機視覺算法的精準度提高到毫米級別,Insight團隊還採用多個OptiTrack動捕傳感器來對比追蹤定位的結果。

關於優化UX

Oculus最強軟件方案,未來AR/VR都靠它

儘管穩定性和準確性對於定位追蹤很重要,但由於這將會成為用戶經常使用的功能,體驗感當然也是一大要素。比如,需要解決VR帶來的一些感知缺陷,包括當身體的移動與在虛擬世界中的移動不匹配時,所產生的方向迷失感,又或者是視覺抖動(每一幀之間的視覺頻閃和拖尾效應)等等。

此外為了更好的體驗感,Insight團隊花費大量時間和精力,以自己為實驗對象,配合OptiTrack追蹤系統在各種環境和情形下測試Insight追蹤效果。

Oculus最強軟件方案,未來AR/VR都靠它

關於Insight追蹤未來

目前,Insight追蹤已經為Quest和Rift S帶來了足夠便捷VR體驗。與第一代Rift相比,Rift S現在只需要連接到電腦上就能使用,不需要額外的連接線。而對於Quest來講,在幫助它實現一體化的同時,Insight也為其提供了對大空間追蹤的支持。

不過Facebook認為Insight追蹤並不只是消費級VR的趨勢,當Oculus Insight技術與AR結合,終將為未來的設備提供全新的體驗,甚至為輕量化AR眼鏡打下基礎。

"

相關推薦

推薦中...