'HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代'

"

隨著越來越多的AR/VR頭顯開始加入眼球追蹤功能,這項技術逐漸被看做是下一代頭顯的標配。眼球追蹤有多種應用和優勢,比如用於人機交互,或者提高渲染效率,生物識別,調節頭顯IPD瞳距,甚至可以評估生命體徵和心理活動。

"

隨著越來越多的AR/VR頭顯開始加入眼球追蹤功能,這項技術逐漸被看做是下一代頭顯的標配。眼球追蹤有多種應用和優勢,比如用於人機交互,或者提高渲染效率,生物識別,調節頭顯IPD瞳距,甚至可以評估生命體徵和心理活動。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

但就像指紋信息一樣,眼球信息如果利用不當可能會對用戶的隱私帶來很大威脅。從短期來看,如果將眼球追蹤與AR/VR頭顯結合,企業便能收集用戶對不同信息和內容產生的私密且無意識的反應。往好的方面想,企業得到這些信息是為了給用戶提供更好的體驗,但對於廣告來講,這些信息是非常有價值的。

如果人的眼球信息為廣告商所用,他們便能學習、預測甚至操縱人的行為。那怎麼才能在儘量不侵犯用戶隱私的情況下,找到眼球追蹤的最佳應用呢?

"

隨著越來越多的AR/VR頭顯開始加入眼球追蹤功能,這項技術逐漸被看做是下一代頭顯的標配。眼球追蹤有多種應用和優勢,比如用於人機交互,或者提高渲染效率,生物識別,調節頭顯IPD瞳距,甚至可以評估生命體徵和心理活動。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

但就像指紋信息一樣,眼球信息如果利用不當可能會對用戶的隱私帶來很大威脅。從短期來看,如果將眼球追蹤與AR/VR頭顯結合,企業便能收集用戶對不同信息和內容產生的私密且無意識的反應。往好的方面想,企業得到這些信息是為了給用戶提供更好的體驗,但對於廣告來講,這些信息是非常有價值的。

如果人的眼球信息為廣告商所用,他們便能學習、預測甚至操縱人的行為。那怎麼才能在儘量不侵犯用戶隱私的情況下,找到眼球追蹤的最佳應用呢?

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Avi Bar-Zeev

對於這個問題,今年2月從蘋果離職的Avi Bar-Zeev(也是HoloLens聯合發明者)在《Vice》雜誌發表了一篇文章,並表達了自己的看法。他談到:我們現在就應該開始樹立安全意識,因為在未來企業們將不得不認可,眼球數據與醫療檔案或者其他生物識別數據同等重要,必須受到保護。

以下內容為Bar-Zeev原創,青亭網整理。

關於眼球追蹤原理

"

隨著越來越多的AR/VR頭顯開始加入眼球追蹤功能,這項技術逐漸被看做是下一代頭顯的標配。眼球追蹤有多種應用和優勢,比如用於人機交互,或者提高渲染效率,生物識別,調節頭顯IPD瞳距,甚至可以評估生命體徵和心理活動。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

但就像指紋信息一樣,眼球信息如果利用不當可能會對用戶的隱私帶來很大威脅。從短期來看,如果將眼球追蹤與AR/VR頭顯結合,企業便能收集用戶對不同信息和內容產生的私密且無意識的反應。往好的方面想,企業得到這些信息是為了給用戶提供更好的體驗,但對於廣告來講,這些信息是非常有價值的。

如果人的眼球信息為廣告商所用,他們便能學習、預測甚至操縱人的行為。那怎麼才能在儘量不侵犯用戶隱私的情況下,找到眼球追蹤的最佳應用呢?

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Avi Bar-Zeev

對於這個問題,今年2月從蘋果離職的Avi Bar-Zeev(也是HoloLens聯合發明者)在《Vice》雜誌發表了一篇文章,並表達了自己的看法。他談到:我們現在就應該開始樹立安全意識,因為在未來企業們將不得不認可,眼球數據與醫療檔案或者其他生物識別數據同等重要,必須受到保護。

以下內容為Bar-Zeev原創,青亭網整理。

關於眼球追蹤原理

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

人眼接收光線原理

在深入問題之前,先來看看人眼的工作原理。人類眼球的功能相當於光學元件,主要的作用是接收並感知光線,而眼球后面的視網膜會將光線數據轉化成大腦能夠識別的信號。每個視網膜中心都有一個小窩(foveae),裡面密集的排布著細胞,是人眼能提供最高分辨率視覺的區域,僅佔人眼中央5°的FOV。而小窩之外的其他區域被稱作做周邊視野,也就是餘光,大約有220°FOV(雙目)。

周邊視野擅長識別動作、視覺規律,比如地平線、陰影,甚至還能看到來自其他人的目光,但是對於顏色或細節的識別能力極弱。

打個比方,當你在讀本文的時候,你以為每一個字看起來都很清晰,實際上你每次只能清楚看到一兩個詞。

這是因為大腦欺騙了你,為了讓你覺得眼前的畫面到處都無比清晰,眼球會四處掃視,就像是在黑夜探路的手電筒一樣,一點一點識別周圍的環境。總之,人眼周邊視野中的細節大部分是靠人腦的記憶,或者是想象出來的。

用眼神追蹤優化渲染效率

依靠眼球快速掃視(saccades)的規律,計算機也能模擬大腦猜測你當下的想法,或者注視的方向,以此來優化屏幕渲染效率,重點提高注視點分辨率,降低周邊視野分辨率。

除了快速掃視,計算機也可以模擬人眼的“平穩追蹤”功能,簡單來講,就是在追蹤移動的汽車或者棒球的時候,人眼會常常進行校正和調整,在你不注意的時候保持視線平穩。

通過訓練,計算機能夠以多種方式追蹤人眼運動,最常見的方法就是用一個或以上的微型攝像頭近距離追蹤眼球,然後將收集到的信息交給計算機視覺軟件進行實時處理,最後能計算出瞳孔位置和注視點。

有的方案還會在微型攝像頭旁加入小型LED燈,利用紅外光反射原理來測量瞳孔位置。或者,也可以採用測量眼肌電信號的方式來追蹤眼球,原理是測量眼球表面到傳感器的距離。

"

隨著越來越多的AR/VR頭顯開始加入眼球追蹤功能,這項技術逐漸被看做是下一代頭顯的標配。眼球追蹤有多種應用和優勢,比如用於人機交互,或者提高渲染效率,生物識別,調節頭顯IPD瞳距,甚至可以評估生命體徵和心理活動。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

但就像指紋信息一樣,眼球信息如果利用不當可能會對用戶的隱私帶來很大威脅。從短期來看,如果將眼球追蹤與AR/VR頭顯結合,企業便能收集用戶對不同信息和內容產生的私密且無意識的反應。往好的方面想,企業得到這些信息是為了給用戶提供更好的體驗,但對於廣告來講,這些信息是非常有價值的。

如果人的眼球信息為廣告商所用,他們便能學習、預測甚至操縱人的行為。那怎麼才能在儘量不侵犯用戶隱私的情況下,找到眼球追蹤的最佳應用呢?

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Avi Bar-Zeev

對於這個問題,今年2月從蘋果離職的Avi Bar-Zeev(也是HoloLens聯合發明者)在《Vice》雜誌發表了一篇文章,並表達了自己的看法。他談到:我們現在就應該開始樹立安全意識,因為在未來企業們將不得不認可,眼球數據與醫療檔案或者其他生物識別數據同等重要,必須受到保護。

以下內容為Bar-Zeev原創,青亭網整理。

關於眼球追蹤原理

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

人眼接收光線原理

在深入問題之前,先來看看人眼的工作原理。人類眼球的功能相當於光學元件,主要的作用是接收並感知光線,而眼球后面的視網膜會將光線數據轉化成大腦能夠識別的信號。每個視網膜中心都有一個小窩(foveae),裡面密集的排布著細胞,是人眼能提供最高分辨率視覺的區域,僅佔人眼中央5°的FOV。而小窩之外的其他區域被稱作做周邊視野,也就是餘光,大約有220°FOV(雙目)。

周邊視野擅長識別動作、視覺規律,比如地平線、陰影,甚至還能看到來自其他人的目光,但是對於顏色或細節的識別能力極弱。

打個比方,當你在讀本文的時候,你以為每一個字看起來都很清晰,實際上你每次只能清楚看到一兩個詞。

這是因為大腦欺騙了你,為了讓你覺得眼前的畫面到處都無比清晰,眼球會四處掃視,就像是在黑夜探路的手電筒一樣,一點一點識別周圍的環境。總之,人眼周邊視野中的細節大部分是靠人腦的記憶,或者是想象出來的。

用眼神追蹤優化渲染效率

依靠眼球快速掃視(saccades)的規律,計算機也能模擬大腦猜測你當下的想法,或者注視的方向,以此來優化屏幕渲染效率,重點提高注視點分辨率,降低周邊視野分辨率。

除了快速掃視,計算機也可以模擬人眼的“平穩追蹤”功能,簡單來講,就是在追蹤移動的汽車或者棒球的時候,人眼會常常進行校正和調整,在你不注意的時候保持視線平穩。

通過訓練,計算機能夠以多種方式追蹤人眼運動,最常見的方法就是用一個或以上的微型攝像頭近距離追蹤眼球,然後將收集到的信息交給計算機視覺軟件進行實時處理,最後能計算出瞳孔位置和注視點。

有的方案還會在微型攝像頭旁加入小型LED燈,利用紅外光反射原理來測量瞳孔位置。或者,也可以採用測量眼肌電信號的方式來追蹤眼球,原理是測量眼球表面到傳感器的距離。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

眼球追蹤效果越好的系統,越能識別微小的動作,比如眼球轉動0.5°前後的差距。當然,僅捕捉1-2°之間變化的也能推斷出用戶意圖或者健康狀況。總之,出於對眼球追蹤系統的體積、重量和功耗考量,有些時候可能要犧牲一下追蹤的準確性,原因是為了更小巧外形和更長續航,以此來滿足C端需求。

為的是欺騙人眼

"

隨著越來越多的AR/VR頭顯開始加入眼球追蹤功能,這項技術逐漸被看做是下一代頭顯的標配。眼球追蹤有多種應用和優勢,比如用於人機交互,或者提高渲染效率,生物識別,調節頭顯IPD瞳距,甚至可以評估生命體徵和心理活動。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

但就像指紋信息一樣,眼球信息如果利用不當可能會對用戶的隱私帶來很大威脅。從短期來看,如果將眼球追蹤與AR/VR頭顯結合,企業便能收集用戶對不同信息和內容產生的私密且無意識的反應。往好的方面想,企業得到這些信息是為了給用戶提供更好的體驗,但對於廣告來講,這些信息是非常有價值的。

如果人的眼球信息為廣告商所用,他們便能學習、預測甚至操縱人的行為。那怎麼才能在儘量不侵犯用戶隱私的情況下,找到眼球追蹤的最佳應用呢?

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Avi Bar-Zeev

對於這個問題,今年2月從蘋果離職的Avi Bar-Zeev(也是HoloLens聯合發明者)在《Vice》雜誌發表了一篇文章,並表達了自己的看法。他談到:我們現在就應該開始樹立安全意識,因為在未來企業們將不得不認可,眼球數據與醫療檔案或者其他生物識別數據同等重要,必須受到保護。

以下內容為Bar-Zeev原創,青亭網整理。

關於眼球追蹤原理

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

人眼接收光線原理

在深入問題之前,先來看看人眼的工作原理。人類眼球的功能相當於光學元件,主要的作用是接收並感知光線,而眼球后面的視網膜會將光線數據轉化成大腦能夠識別的信號。每個視網膜中心都有一個小窩(foveae),裡面密集的排布著細胞,是人眼能提供最高分辨率視覺的區域,僅佔人眼中央5°的FOV。而小窩之外的其他區域被稱作做周邊視野,也就是餘光,大約有220°FOV(雙目)。

周邊視野擅長識別動作、視覺規律,比如地平線、陰影,甚至還能看到來自其他人的目光,但是對於顏色或細節的識別能力極弱。

打個比方,當你在讀本文的時候,你以為每一個字看起來都很清晰,實際上你每次只能清楚看到一兩個詞。

這是因為大腦欺騙了你,為了讓你覺得眼前的畫面到處都無比清晰,眼球會四處掃視,就像是在黑夜探路的手電筒一樣,一點一點識別周圍的環境。總之,人眼周邊視野中的細節大部分是靠人腦的記憶,或者是想象出來的。

用眼神追蹤優化渲染效率

依靠眼球快速掃視(saccades)的規律,計算機也能模擬大腦猜測你當下的想法,或者注視的方向,以此來優化屏幕渲染效率,重點提高注視點分辨率,降低周邊視野分辨率。

除了快速掃視,計算機也可以模擬人眼的“平穩追蹤”功能,簡單來講,就是在追蹤移動的汽車或者棒球的時候,人眼會常常進行校正和調整,在你不注意的時候保持視線平穩。

通過訓練,計算機能夠以多種方式追蹤人眼運動,最常見的方法就是用一個或以上的微型攝像頭近距離追蹤眼球,然後將收集到的信息交給計算機視覺軟件進行實時處理,最後能計算出瞳孔位置和注視點。

有的方案還會在微型攝像頭旁加入小型LED燈,利用紅外光反射原理來測量瞳孔位置。或者,也可以採用測量眼肌電信號的方式來追蹤眼球,原理是測量眼球表面到傳感器的距離。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

眼球追蹤效果越好的系統,越能識別微小的動作,比如眼球轉動0.5°前後的差距。當然,僅捕捉1-2°之間變化的也能推斷出用戶意圖或者健康狀況。總之,出於對眼球追蹤系統的體積、重量和功耗考量,有些時候可能要犧牲一下追蹤的準確性,原因是為了更小巧外形和更長續航,以此來滿足C端需求。

為的是欺騙人眼

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

有趣的是,你的雙眼不僅會被大腦欺騙,也會被別人操控。比如,魔術師、扒手可通過轉移你的注意力,悄無聲息地拿走你身上的東西,這又是怎麼回事呢?原來,人眼在快速掃視的時候會繼續捕捉新的細節,也就是說周圍環境出現任何改變都有可能吸引我們的目光。

吸引注意力對於敘事來講至關重要,儘管電影導演沒辦法手動改變觀眾的關注點,但他們可以通過視覺線索去儘量引導。

設計網頁和app的視覺和UI設計也是如此,通過各種不同方式吸引我們的眼球,讓我們最先看到頁面中的重點,然後憑直覺找到該進行的下一步。

對於魔術師來講,即使不想辦法吸引觀眾注意力,他們也會自然地跟隨他的眼神,這也被稱為共享式注意力。在獲得了觀眾注意力後,魔術師就有了偷換身邊物品或場景的機會。聽起來有點誇張,不過可以舉個例子來解釋:人眼從A點向B端快速掃視的過程中看到的畫面實際是模糊的,但你很難注意到A點到B點經過的改變,這也是因為大腦欺騙了你。

再舉個有趣的例子,雞的眼球沒辦法轉動,因此周圍環境改變的時候,為避免視覺產生模糊,它們才需要不斷前後晃動腦袋。

總之,你在眨眼或快速掃視的時候,都給了別人欺騙你的機會。而眼球的這種特性如果為VR所用,便可高效地提高沉浸感。比如,在室內戴VR頭顯移動的時候很可能走走就會碰到牆壁,這時候頭顯的邊界系統會提示你停下,然後遊戲畫面將會改變方向,讓你以為自己在“繼續直行”,其實你可能只是在房間裡的安全區域兜圈子。

為了不讓你發現,VR還會使用一些視覺干擾機制來矇蔽你,這時候眼球追蹤技術就派上用場了。

眼球追蹤的最佳應用

"

隨著越來越多的AR/VR頭顯開始加入眼球追蹤功能,這項技術逐漸被看做是下一代頭顯的標配。眼球追蹤有多種應用和優勢,比如用於人機交互,或者提高渲染效率,生物識別,調節頭顯IPD瞳距,甚至可以評估生命體徵和心理活動。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

但就像指紋信息一樣,眼球信息如果利用不當可能會對用戶的隱私帶來很大威脅。從短期來看,如果將眼球追蹤與AR/VR頭顯結合,企業便能收集用戶對不同信息和內容產生的私密且無意識的反應。往好的方面想,企業得到這些信息是為了給用戶提供更好的體驗,但對於廣告來講,這些信息是非常有價值的。

如果人的眼球信息為廣告商所用,他們便能學習、預測甚至操縱人的行為。那怎麼才能在儘量不侵犯用戶隱私的情況下,找到眼球追蹤的最佳應用呢?

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Avi Bar-Zeev

對於這個問題,今年2月從蘋果離職的Avi Bar-Zeev(也是HoloLens聯合發明者)在《Vice》雜誌發表了一篇文章,並表達了自己的看法。他談到:我們現在就應該開始樹立安全意識,因為在未來企業們將不得不認可,眼球數據與醫療檔案或者其他生物識別數據同等重要,必須受到保護。

以下內容為Bar-Zeev原創,青亭網整理。

關於眼球追蹤原理

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

人眼接收光線原理

在深入問題之前,先來看看人眼的工作原理。人類眼球的功能相當於光學元件,主要的作用是接收並感知光線,而眼球后面的視網膜會將光線數據轉化成大腦能夠識別的信號。每個視網膜中心都有一個小窩(foveae),裡面密集的排布著細胞,是人眼能提供最高分辨率視覺的區域,僅佔人眼中央5°的FOV。而小窩之外的其他區域被稱作做周邊視野,也就是餘光,大約有220°FOV(雙目)。

周邊視野擅長識別動作、視覺規律,比如地平線、陰影,甚至還能看到來自其他人的目光,但是對於顏色或細節的識別能力極弱。

打個比方,當你在讀本文的時候,你以為每一個字看起來都很清晰,實際上你每次只能清楚看到一兩個詞。

這是因為大腦欺騙了你,為了讓你覺得眼前的畫面到處都無比清晰,眼球會四處掃視,就像是在黑夜探路的手電筒一樣,一點一點識別周圍的環境。總之,人眼周邊視野中的細節大部分是靠人腦的記憶,或者是想象出來的。

用眼神追蹤優化渲染效率

依靠眼球快速掃視(saccades)的規律,計算機也能模擬大腦猜測你當下的想法,或者注視的方向,以此來優化屏幕渲染效率,重點提高注視點分辨率,降低周邊視野分辨率。

除了快速掃視,計算機也可以模擬人眼的“平穩追蹤”功能,簡單來講,就是在追蹤移動的汽車或者棒球的時候,人眼會常常進行校正和調整,在你不注意的時候保持視線平穩。

通過訓練,計算機能夠以多種方式追蹤人眼運動,最常見的方法就是用一個或以上的微型攝像頭近距離追蹤眼球,然後將收集到的信息交給計算機視覺軟件進行實時處理,最後能計算出瞳孔位置和注視點。

有的方案還會在微型攝像頭旁加入小型LED燈,利用紅外光反射原理來測量瞳孔位置。或者,也可以採用測量眼肌電信號的方式來追蹤眼球,原理是測量眼球表面到傳感器的距離。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

眼球追蹤效果越好的系統,越能識別微小的動作,比如眼球轉動0.5°前後的差距。當然,僅捕捉1-2°之間變化的也能推斷出用戶意圖或者健康狀況。總之,出於對眼球追蹤系統的體積、重量和功耗考量,有些時候可能要犧牲一下追蹤的準確性,原因是為了更小巧外形和更長續航,以此來滿足C端需求。

為的是欺騙人眼

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

有趣的是,你的雙眼不僅會被大腦欺騙,也會被別人操控。比如,魔術師、扒手可通過轉移你的注意力,悄無聲息地拿走你身上的東西,這又是怎麼回事呢?原來,人眼在快速掃視的時候會繼續捕捉新的細節,也就是說周圍環境出現任何改變都有可能吸引我們的目光。

吸引注意力對於敘事來講至關重要,儘管電影導演沒辦法手動改變觀眾的關注點,但他們可以通過視覺線索去儘量引導。

設計網頁和app的視覺和UI設計也是如此,通過各種不同方式吸引我們的眼球,讓我們最先看到頁面中的重點,然後憑直覺找到該進行的下一步。

對於魔術師來講,即使不想辦法吸引觀眾注意力,他們也會自然地跟隨他的眼神,這也被稱為共享式注意力。在獲得了觀眾注意力後,魔術師就有了偷換身邊物品或場景的機會。聽起來有點誇張,不過可以舉個例子來解釋:人眼從A點向B端快速掃視的過程中看到的畫面實際是模糊的,但你很難注意到A點到B點經過的改變,這也是因為大腦欺騙了你。

再舉個有趣的例子,雞的眼球沒辦法轉動,因此周圍環境改變的時候,為避免視覺產生模糊,它們才需要不斷前後晃動腦袋。

總之,你在眨眼或快速掃視的時候,都給了別人欺騙你的機會。而眼球的這種特性如果為VR所用,便可高效地提高沉浸感。比如,在室內戴VR頭顯移動的時候很可能走走就會碰到牆壁,這時候頭顯的邊界系統會提示你停下,然後遊戲畫面將會改變方向,讓你以為自己在“繼續直行”,其實你可能只是在房間裡的安全區域兜圈子。

為了不讓你發現,VR還會使用一些視覺干擾機制來矇蔽你,這時候眼球追蹤技術就派上用場了。

眼球追蹤的最佳應用

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

關於眼球追蹤的用途,前面已經提到它可以與注視點渲染結合,提高顯示效率,並降低功耗、成本和AR/VR硬件重量,它最理想的效果就是能夠模擬視網膜成像,精準定位你的注視點並達到自然的渲染漸變。

此外,眼球追蹤也可以用於眼球輸入,與用鼠標瀏覽菜單相比,眼球輸入更加自然,將大大優化VR/AR頭顯的UI。想象一下,在未來可能你只需要看一眼檯燈,就會彈出打開或關閉的選項,像讀心術一樣神奇。

在AR頭顯中,眼球追蹤還能被用來調節畫面焦距,比如微軟就曾申請過一項專利,專利中描述了一種根據用戶注視點在近處和遠處之間調節焦距的光學技術,可用於頭顯。Magic Leap的“光場”技術也號稱擁有同樣的功能,儘管實際上僅支持幾個焦點平面,如果要增加焦點則需要疊加更多光波導。總之,最理想的效果就是眼鏡能夠根據眼球注視的每一點調節焦距。

在更遙遠的未來,眼球追蹤不僅能調節焦距,可能還會將你注視的畫面放大,微軟在2010年就已經申請了相關專利。

將眼球追蹤用於醫療

當然也有更偏向科學研究的應用,比如通過眼球追蹤來診斷小孩子自閉症,原理是自閉症孩子的眼動規律與普通孩子有所差異,比如會更頻繁轉動眼睛掃視周圍環境,難以將實現固定在人臉上。同時,眼球追蹤技術也能幫助自閉症孩子糾正一些感知差異,從而緩解病症。

另外,通過測量眼跳運動和瞳孔反應,還能診斷精神分裂症、帕金森症、多動症、腦震盪等病症。

從變現能力來看,將眼球追蹤技術應用在科研和市場調研是目前比較實際的應用場景。通常,調查者會讓測試對象戴眼球追蹤設備進入超市等地點,通過記錄他們眼睛在貨架上掃視的動作信息,來分析是什麼商品,以怎樣的方式,在什麼樣的時間吸引了他們的注意力。如果將上述場景換成VR,那麼獲取信息的速度會更快,也更方便場景自定義。

眼神不會騙人

通過對人眼的追蹤,越來越多的科學研究發現,瞳孔放大的程度也能顯示出人對眼前人、事物的情感或興趣程度。因為,與相機光圈原理相似,人眼瞳孔的主要作用是調節視網膜接收的光線強度,光線強瞳孔就變小,光線弱瞳孔就變大,這是一種自主反應,很難去有意識地控制。因此,瞳孔的大小和變化速度足以透露一個人的內心情緒和認知狀態。

EEG(腦電圖描記器)、測量皮電反應、脈搏和血壓的傳感器也能測出人的情緒,但它們沒辦法識別是什麼外部因素刺激了情緒變化。而結合眼球追蹤,便能做到這一點,大大提高情緒感知的準確性。

關於信息安全

眼球追蹤固然很強大,但想象一下,當未來人手一臺VR/AR頭顯的時候,你的每個眼神可能都會被頭顯記錄,如何保障信息安全呢?也許,在收集這些信息之前,可以徵求用戶許可。理論上講合情合理,可大多數人會覺得服務條款太長了,不看就會選擇同意,所以通常在不知情的情況下就釋放了隱私權限。

"

隨著越來越多的AR/VR頭顯開始加入眼球追蹤功能,這項技術逐漸被看做是下一代頭顯的標配。眼球追蹤有多種應用和優勢,比如用於人機交互,或者提高渲染效率,生物識別,調節頭顯IPD瞳距,甚至可以評估生命體徵和心理活動。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

但就像指紋信息一樣,眼球信息如果利用不當可能會對用戶的隱私帶來很大威脅。從短期來看,如果將眼球追蹤與AR/VR頭顯結合,企業便能收集用戶對不同信息和內容產生的私密且無意識的反應。往好的方面想,企業得到這些信息是為了給用戶提供更好的體驗,但對於廣告來講,這些信息是非常有價值的。

如果人的眼球信息為廣告商所用,他們便能學習、預測甚至操縱人的行為。那怎麼才能在儘量不侵犯用戶隱私的情況下,找到眼球追蹤的最佳應用呢?

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Avi Bar-Zeev

對於這個問題,今年2月從蘋果離職的Avi Bar-Zeev(也是HoloLens聯合發明者)在《Vice》雜誌發表了一篇文章,並表達了自己的看法。他談到:我們現在就應該開始樹立安全意識,因為在未來企業們將不得不認可,眼球數據與醫療檔案或者其他生物識別數據同等重要,必須受到保護。

以下內容為Bar-Zeev原創,青亭網整理。

關於眼球追蹤原理

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

人眼接收光線原理

在深入問題之前,先來看看人眼的工作原理。人類眼球的功能相當於光學元件,主要的作用是接收並感知光線,而眼球后面的視網膜會將光線數據轉化成大腦能夠識別的信號。每個視網膜中心都有一個小窩(foveae),裡面密集的排布著細胞,是人眼能提供最高分辨率視覺的區域,僅佔人眼中央5°的FOV。而小窩之外的其他區域被稱作做周邊視野,也就是餘光,大約有220°FOV(雙目)。

周邊視野擅長識別動作、視覺規律,比如地平線、陰影,甚至還能看到來自其他人的目光,但是對於顏色或細節的識別能力極弱。

打個比方,當你在讀本文的時候,你以為每一個字看起來都很清晰,實際上你每次只能清楚看到一兩個詞。

這是因為大腦欺騙了你,為了讓你覺得眼前的畫面到處都無比清晰,眼球會四處掃視,就像是在黑夜探路的手電筒一樣,一點一點識別周圍的環境。總之,人眼周邊視野中的細節大部分是靠人腦的記憶,或者是想象出來的。

用眼神追蹤優化渲染效率

依靠眼球快速掃視(saccades)的規律,計算機也能模擬大腦猜測你當下的想法,或者注視的方向,以此來優化屏幕渲染效率,重點提高注視點分辨率,降低周邊視野分辨率。

除了快速掃視,計算機也可以模擬人眼的“平穩追蹤”功能,簡單來講,就是在追蹤移動的汽車或者棒球的時候,人眼會常常進行校正和調整,在你不注意的時候保持視線平穩。

通過訓練,計算機能夠以多種方式追蹤人眼運動,最常見的方法就是用一個或以上的微型攝像頭近距離追蹤眼球,然後將收集到的信息交給計算機視覺軟件進行實時處理,最後能計算出瞳孔位置和注視點。

有的方案還會在微型攝像頭旁加入小型LED燈,利用紅外光反射原理來測量瞳孔位置。或者,也可以採用測量眼肌電信號的方式來追蹤眼球,原理是測量眼球表面到傳感器的距離。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

眼球追蹤效果越好的系統,越能識別微小的動作,比如眼球轉動0.5°前後的差距。當然,僅捕捉1-2°之間變化的也能推斷出用戶意圖或者健康狀況。總之,出於對眼球追蹤系統的體積、重量和功耗考量,有些時候可能要犧牲一下追蹤的準確性,原因是為了更小巧外形和更長續航,以此來滿足C端需求。

為的是欺騙人眼

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

有趣的是,你的雙眼不僅會被大腦欺騙,也會被別人操控。比如,魔術師、扒手可通過轉移你的注意力,悄無聲息地拿走你身上的東西,這又是怎麼回事呢?原來,人眼在快速掃視的時候會繼續捕捉新的細節,也就是說周圍環境出現任何改變都有可能吸引我們的目光。

吸引注意力對於敘事來講至關重要,儘管電影導演沒辦法手動改變觀眾的關注點,但他們可以通過視覺線索去儘量引導。

設計網頁和app的視覺和UI設計也是如此,通過各種不同方式吸引我們的眼球,讓我們最先看到頁面中的重點,然後憑直覺找到該進行的下一步。

對於魔術師來講,即使不想辦法吸引觀眾注意力,他們也會自然地跟隨他的眼神,這也被稱為共享式注意力。在獲得了觀眾注意力後,魔術師就有了偷換身邊物品或場景的機會。聽起來有點誇張,不過可以舉個例子來解釋:人眼從A點向B端快速掃視的過程中看到的畫面實際是模糊的,但你很難注意到A點到B點經過的改變,這也是因為大腦欺騙了你。

再舉個有趣的例子,雞的眼球沒辦法轉動,因此周圍環境改變的時候,為避免視覺產生模糊,它們才需要不斷前後晃動腦袋。

總之,你在眨眼或快速掃視的時候,都給了別人欺騙你的機會。而眼球的這種特性如果為VR所用,便可高效地提高沉浸感。比如,在室內戴VR頭顯移動的時候很可能走走就會碰到牆壁,這時候頭顯的邊界系統會提示你停下,然後遊戲畫面將會改變方向,讓你以為自己在“繼續直行”,其實你可能只是在房間裡的安全區域兜圈子。

為了不讓你發現,VR還會使用一些視覺干擾機制來矇蔽你,這時候眼球追蹤技術就派上用場了。

眼球追蹤的最佳應用

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

關於眼球追蹤的用途,前面已經提到它可以與注視點渲染結合,提高顯示效率,並降低功耗、成本和AR/VR硬件重量,它最理想的效果就是能夠模擬視網膜成像,精準定位你的注視點並達到自然的渲染漸變。

此外,眼球追蹤也可以用於眼球輸入,與用鼠標瀏覽菜單相比,眼球輸入更加自然,將大大優化VR/AR頭顯的UI。想象一下,在未來可能你只需要看一眼檯燈,就會彈出打開或關閉的選項,像讀心術一樣神奇。

在AR頭顯中,眼球追蹤還能被用來調節畫面焦距,比如微軟就曾申請過一項專利,專利中描述了一種根據用戶注視點在近處和遠處之間調節焦距的光學技術,可用於頭顯。Magic Leap的“光場”技術也號稱擁有同樣的功能,儘管實際上僅支持幾個焦點平面,如果要增加焦點則需要疊加更多光波導。總之,最理想的效果就是眼鏡能夠根據眼球注視的每一點調節焦距。

在更遙遠的未來,眼球追蹤不僅能調節焦距,可能還會將你注視的畫面放大,微軟在2010年就已經申請了相關專利。

將眼球追蹤用於醫療

當然也有更偏向科學研究的應用,比如通過眼球追蹤來診斷小孩子自閉症,原理是自閉症孩子的眼動規律與普通孩子有所差異,比如會更頻繁轉動眼睛掃視周圍環境,難以將實現固定在人臉上。同時,眼球追蹤技術也能幫助自閉症孩子糾正一些感知差異,從而緩解病症。

另外,通過測量眼跳運動和瞳孔反應,還能診斷精神分裂症、帕金森症、多動症、腦震盪等病症。

從變現能力來看,將眼球追蹤技術應用在科研和市場調研是目前比較實際的應用場景。通常,調查者會讓測試對象戴眼球追蹤設備進入超市等地點,通過記錄他們眼睛在貨架上掃視的動作信息,來分析是什麼商品,以怎樣的方式,在什麼樣的時間吸引了他們的注意力。如果將上述場景換成VR,那麼獲取信息的速度會更快,也更方便場景自定義。

眼神不會騙人

通過對人眼的追蹤,越來越多的科學研究發現,瞳孔放大的程度也能顯示出人對眼前人、事物的情感或興趣程度。因為,與相機光圈原理相似,人眼瞳孔的主要作用是調節視網膜接收的光線強度,光線強瞳孔就變小,光線弱瞳孔就變大,這是一種自主反應,很難去有意識地控制。因此,瞳孔的大小和變化速度足以透露一個人的內心情緒和認知狀態。

EEG(腦電圖描記器)、測量皮電反應、脈搏和血壓的傳感器也能測出人的情緒,但它們沒辦法識別是什麼外部因素刺激了情緒變化。而結合眼球追蹤,便能做到這一點,大大提高情緒感知的準確性。

關於信息安全

眼球追蹤固然很強大,但想象一下,當未來人手一臺VR/AR頭顯的時候,你的每個眼神可能都會被頭顯記錄,如何保障信息安全呢?也許,在收集這些信息之前,可以徵求用戶許可。理論上講合情合理,可大多數人會覺得服務條款太長了,不看就會選擇同意,所以通常在不知情的情況下就釋放了隱私權限。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Oculus Quest

比如,從Oculus的服務聲明中就可以看到,它們已經在手機用戶的身體運動數據,這些數據將幫助他們研究並優化用戶體驗。這些人體數據到了企業手中,必然存在使用不當的可能。因此,蒐集了哪些數據,數據存儲在哪裡,是否受到保護,如何使用這些問題的答案如果能公開,才有助於提高用戶對企業的信任。

為什麼人體信息這麼重要呢?因為包括虹膜和視網膜血管分佈在內的生物識別數據是每個人獨有的,對於機器學習算法來講,是你唯一的識別符。舉個例子,現在不管是在火車站、賓館還是政府辦公機關,很多地方都開始用刷臉加身份證雙重驗證,因為安全性和準確性都更高。

也就是說,當你的名字、信用卡、身份證等實名信息,以及你的生物識別信息被某企業獲取,那就相當於你將隱私交由他人手中,想永遠在網上保持匿名恐怕不太可能了,因為通過這家企業,想查你並不難。(以前是查IP,現在有辦法偽造IP,但生物信息造假就太難了)

"

隨著越來越多的AR/VR頭顯開始加入眼球追蹤功能,這項技術逐漸被看做是下一代頭顯的標配。眼球追蹤有多種應用和優勢,比如用於人機交互,或者提高渲染效率,生物識別,調節頭顯IPD瞳距,甚至可以評估生命體徵和心理活動。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

但就像指紋信息一樣,眼球信息如果利用不當可能會對用戶的隱私帶來很大威脅。從短期來看,如果將眼球追蹤與AR/VR頭顯結合,企業便能收集用戶對不同信息和內容產生的私密且無意識的反應。往好的方面想,企業得到這些信息是為了給用戶提供更好的體驗,但對於廣告來講,這些信息是非常有價值的。

如果人的眼球信息為廣告商所用,他們便能學習、預測甚至操縱人的行為。那怎麼才能在儘量不侵犯用戶隱私的情況下,找到眼球追蹤的最佳應用呢?

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Avi Bar-Zeev

對於這個問題,今年2月從蘋果離職的Avi Bar-Zeev(也是HoloLens聯合發明者)在《Vice》雜誌發表了一篇文章,並表達了自己的看法。他談到:我們現在就應該開始樹立安全意識,因為在未來企業們將不得不認可,眼球數據與醫療檔案或者其他生物識別數據同等重要,必須受到保護。

以下內容為Bar-Zeev原創,青亭網整理。

關於眼球追蹤原理

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

人眼接收光線原理

在深入問題之前,先來看看人眼的工作原理。人類眼球的功能相當於光學元件,主要的作用是接收並感知光線,而眼球后面的視網膜會將光線數據轉化成大腦能夠識別的信號。每個視網膜中心都有一個小窩(foveae),裡面密集的排布著細胞,是人眼能提供最高分辨率視覺的區域,僅佔人眼中央5°的FOV。而小窩之外的其他區域被稱作做周邊視野,也就是餘光,大約有220°FOV(雙目)。

周邊視野擅長識別動作、視覺規律,比如地平線、陰影,甚至還能看到來自其他人的目光,但是對於顏色或細節的識別能力極弱。

打個比方,當你在讀本文的時候,你以為每一個字看起來都很清晰,實際上你每次只能清楚看到一兩個詞。

這是因為大腦欺騙了你,為了讓你覺得眼前的畫面到處都無比清晰,眼球會四處掃視,就像是在黑夜探路的手電筒一樣,一點一點識別周圍的環境。總之,人眼周邊視野中的細節大部分是靠人腦的記憶,或者是想象出來的。

用眼神追蹤優化渲染效率

依靠眼球快速掃視(saccades)的規律,計算機也能模擬大腦猜測你當下的想法,或者注視的方向,以此來優化屏幕渲染效率,重點提高注視點分辨率,降低周邊視野分辨率。

除了快速掃視,計算機也可以模擬人眼的“平穩追蹤”功能,簡單來講,就是在追蹤移動的汽車或者棒球的時候,人眼會常常進行校正和調整,在你不注意的時候保持視線平穩。

通過訓練,計算機能夠以多種方式追蹤人眼運動,最常見的方法就是用一個或以上的微型攝像頭近距離追蹤眼球,然後將收集到的信息交給計算機視覺軟件進行實時處理,最後能計算出瞳孔位置和注視點。

有的方案還會在微型攝像頭旁加入小型LED燈,利用紅外光反射原理來測量瞳孔位置。或者,也可以採用測量眼肌電信號的方式來追蹤眼球,原理是測量眼球表面到傳感器的距離。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

眼球追蹤效果越好的系統,越能識別微小的動作,比如眼球轉動0.5°前後的差距。當然,僅捕捉1-2°之間變化的也能推斷出用戶意圖或者健康狀況。總之,出於對眼球追蹤系統的體積、重量和功耗考量,有些時候可能要犧牲一下追蹤的準確性,原因是為了更小巧外形和更長續航,以此來滿足C端需求。

為的是欺騙人眼

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

有趣的是,你的雙眼不僅會被大腦欺騙,也會被別人操控。比如,魔術師、扒手可通過轉移你的注意力,悄無聲息地拿走你身上的東西,這又是怎麼回事呢?原來,人眼在快速掃視的時候會繼續捕捉新的細節,也就是說周圍環境出現任何改變都有可能吸引我們的目光。

吸引注意力對於敘事來講至關重要,儘管電影導演沒辦法手動改變觀眾的關注點,但他們可以通過視覺線索去儘量引導。

設計網頁和app的視覺和UI設計也是如此,通過各種不同方式吸引我們的眼球,讓我們最先看到頁面中的重點,然後憑直覺找到該進行的下一步。

對於魔術師來講,即使不想辦法吸引觀眾注意力,他們也會自然地跟隨他的眼神,這也被稱為共享式注意力。在獲得了觀眾注意力後,魔術師就有了偷換身邊物品或場景的機會。聽起來有點誇張,不過可以舉個例子來解釋:人眼從A點向B端快速掃視的過程中看到的畫面實際是模糊的,但你很難注意到A點到B點經過的改變,這也是因為大腦欺騙了你。

再舉個有趣的例子,雞的眼球沒辦法轉動,因此周圍環境改變的時候,為避免視覺產生模糊,它們才需要不斷前後晃動腦袋。

總之,你在眨眼或快速掃視的時候,都給了別人欺騙你的機會。而眼球的這種特性如果為VR所用,便可高效地提高沉浸感。比如,在室內戴VR頭顯移動的時候很可能走走就會碰到牆壁,這時候頭顯的邊界系統會提示你停下,然後遊戲畫面將會改變方向,讓你以為自己在“繼續直行”,其實你可能只是在房間裡的安全區域兜圈子。

為了不讓你發現,VR還會使用一些視覺干擾機制來矇蔽你,這時候眼球追蹤技術就派上用場了。

眼球追蹤的最佳應用

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

關於眼球追蹤的用途,前面已經提到它可以與注視點渲染結合,提高顯示效率,並降低功耗、成本和AR/VR硬件重量,它最理想的效果就是能夠模擬視網膜成像,精準定位你的注視點並達到自然的渲染漸變。

此外,眼球追蹤也可以用於眼球輸入,與用鼠標瀏覽菜單相比,眼球輸入更加自然,將大大優化VR/AR頭顯的UI。想象一下,在未來可能你只需要看一眼檯燈,就會彈出打開或關閉的選項,像讀心術一樣神奇。

在AR頭顯中,眼球追蹤還能被用來調節畫面焦距,比如微軟就曾申請過一項專利,專利中描述了一種根據用戶注視點在近處和遠處之間調節焦距的光學技術,可用於頭顯。Magic Leap的“光場”技術也號稱擁有同樣的功能,儘管實際上僅支持幾個焦點平面,如果要增加焦點則需要疊加更多光波導。總之,最理想的效果就是眼鏡能夠根據眼球注視的每一點調節焦距。

在更遙遠的未來,眼球追蹤不僅能調節焦距,可能還會將你注視的畫面放大,微軟在2010年就已經申請了相關專利。

將眼球追蹤用於醫療

當然也有更偏向科學研究的應用,比如通過眼球追蹤來診斷小孩子自閉症,原理是自閉症孩子的眼動規律與普通孩子有所差異,比如會更頻繁轉動眼睛掃視周圍環境,難以將實現固定在人臉上。同時,眼球追蹤技術也能幫助自閉症孩子糾正一些感知差異,從而緩解病症。

另外,通過測量眼跳運動和瞳孔反應,還能診斷精神分裂症、帕金森症、多動症、腦震盪等病症。

從變現能力來看,將眼球追蹤技術應用在科研和市場調研是目前比較實際的應用場景。通常,調查者會讓測試對象戴眼球追蹤設備進入超市等地點,通過記錄他們眼睛在貨架上掃視的動作信息,來分析是什麼商品,以怎樣的方式,在什麼樣的時間吸引了他們的注意力。如果將上述場景換成VR,那麼獲取信息的速度會更快,也更方便場景自定義。

眼神不會騙人

通過對人眼的追蹤,越來越多的科學研究發現,瞳孔放大的程度也能顯示出人對眼前人、事物的情感或興趣程度。因為,與相機光圈原理相似,人眼瞳孔的主要作用是調節視網膜接收的光線強度,光線強瞳孔就變小,光線弱瞳孔就變大,這是一種自主反應,很難去有意識地控制。因此,瞳孔的大小和變化速度足以透露一個人的內心情緒和認知狀態。

EEG(腦電圖描記器)、測量皮電反應、脈搏和血壓的傳感器也能測出人的情緒,但它們沒辦法識別是什麼外部因素刺激了情緒變化。而結合眼球追蹤,便能做到這一點,大大提高情緒感知的準確性。

關於信息安全

眼球追蹤固然很強大,但想象一下,當未來人手一臺VR/AR頭顯的時候,你的每個眼神可能都會被頭顯記錄,如何保障信息安全呢?也許,在收集這些信息之前,可以徵求用戶許可。理論上講合情合理,可大多數人會覺得服務條款太長了,不看就會選擇同意,所以通常在不知情的情況下就釋放了隱私權限。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Oculus Quest

比如,從Oculus的服務聲明中就可以看到,它們已經在手機用戶的身體運動數據,這些數據將幫助他們研究並優化用戶體驗。這些人體數據到了企業手中,必然存在使用不當的可能。因此,蒐集了哪些數據,數據存儲在哪裡,是否受到保護,如何使用這些問題的答案如果能公開,才有助於提高用戶對企業的信任。

為什麼人體信息這麼重要呢?因為包括虹膜和視網膜血管分佈在內的生物識別數據是每個人獨有的,對於機器學習算法來講,是你唯一的識別符。舉個例子,現在不管是在火車站、賓館還是政府辦公機關,很多地方都開始用刷臉加身份證雙重驗證,因為安全性和準確性都更高。

也就是說,當你的名字、信用卡、身份證等實名信息,以及你的生物識別信息被某企業獲取,那就相當於你將隱私交由他人手中,想永遠在網上保持匿名恐怕不太可能了,因為通過這家企業,想查你並不難。(以前是查IP,現在有辦法偽造IP,但生物信息造假就太難了)

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

HoloLens 2

與Oculus相同,微軟HoloLens 2頭顯也會收集用戶的生物識別信息,它會通過識別瞳孔來對你進行認證,有點像電影裡演的那樣。為了驗證,生物識別系統會調出你的”數字簽名“,而不是用原始圖像來識別你,如果你的眼球與簽名符合,那麼就會通過認證。每個人的瞳孔信息都不一樣,安全性比密碼更高。

HoloLens 2瞳孔識別功能

那麼微軟是怎麼保護HoloLens 2中收集的瞳孔信息呢?據悉,HoloLens 2會將你的信息存儲在設備中,具體來講就是設備強制加密的保險庫中。因此,想盜取你信息的人必須先偷走你的頭顯,然後進行破解,和直接侵入系統盜取大量信息相比,這一過程費時又費力。

當然,將生物數據複製並存儲在雲端自然很方便(可用作備份,或者跨設備登陸),但這樣信息就很容易被盜取,你被別人模仿的機率也更高。

總之,生物識別信息丟失是很麻煩的,密碼如果丟了可以重置,但你很難給自己換個眼球。因此,收集用戶生物識別信息的企業必須採取最嚴格的安全措施。

關於開發者與信息安全

"

隨著越來越多的AR/VR頭顯開始加入眼球追蹤功能,這項技術逐漸被看做是下一代頭顯的標配。眼球追蹤有多種應用和優勢,比如用於人機交互,或者提高渲染效率,生物識別,調節頭顯IPD瞳距,甚至可以評估生命體徵和心理活動。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

但就像指紋信息一樣,眼球信息如果利用不當可能會對用戶的隱私帶來很大威脅。從短期來看,如果將眼球追蹤與AR/VR頭顯結合,企業便能收集用戶對不同信息和內容產生的私密且無意識的反應。往好的方面想,企業得到這些信息是為了給用戶提供更好的體驗,但對於廣告來講,這些信息是非常有價值的。

如果人的眼球信息為廣告商所用,他們便能學習、預測甚至操縱人的行為。那怎麼才能在儘量不侵犯用戶隱私的情況下,找到眼球追蹤的最佳應用呢?

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Avi Bar-Zeev

對於這個問題,今年2月從蘋果離職的Avi Bar-Zeev(也是HoloLens聯合發明者)在《Vice》雜誌發表了一篇文章,並表達了自己的看法。他談到:我們現在就應該開始樹立安全意識,因為在未來企業們將不得不認可,眼球數據與醫療檔案或者其他生物識別數據同等重要,必須受到保護。

以下內容為Bar-Zeev原創,青亭網整理。

關於眼球追蹤原理

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

人眼接收光線原理

在深入問題之前,先來看看人眼的工作原理。人類眼球的功能相當於光學元件,主要的作用是接收並感知光線,而眼球后面的視網膜會將光線數據轉化成大腦能夠識別的信號。每個視網膜中心都有一個小窩(foveae),裡面密集的排布著細胞,是人眼能提供最高分辨率視覺的區域,僅佔人眼中央5°的FOV。而小窩之外的其他區域被稱作做周邊視野,也就是餘光,大約有220°FOV(雙目)。

周邊視野擅長識別動作、視覺規律,比如地平線、陰影,甚至還能看到來自其他人的目光,但是對於顏色或細節的識別能力極弱。

打個比方,當你在讀本文的時候,你以為每一個字看起來都很清晰,實際上你每次只能清楚看到一兩個詞。

這是因為大腦欺騙了你,為了讓你覺得眼前的畫面到處都無比清晰,眼球會四處掃視,就像是在黑夜探路的手電筒一樣,一點一點識別周圍的環境。總之,人眼周邊視野中的細節大部分是靠人腦的記憶,或者是想象出來的。

用眼神追蹤優化渲染效率

依靠眼球快速掃視(saccades)的規律,計算機也能模擬大腦猜測你當下的想法,或者注視的方向,以此來優化屏幕渲染效率,重點提高注視點分辨率,降低周邊視野分辨率。

除了快速掃視,計算機也可以模擬人眼的“平穩追蹤”功能,簡單來講,就是在追蹤移動的汽車或者棒球的時候,人眼會常常進行校正和調整,在你不注意的時候保持視線平穩。

通過訓練,計算機能夠以多種方式追蹤人眼運動,最常見的方法就是用一個或以上的微型攝像頭近距離追蹤眼球,然後將收集到的信息交給計算機視覺軟件進行實時處理,最後能計算出瞳孔位置和注視點。

有的方案還會在微型攝像頭旁加入小型LED燈,利用紅外光反射原理來測量瞳孔位置。或者,也可以採用測量眼肌電信號的方式來追蹤眼球,原理是測量眼球表面到傳感器的距離。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

眼球追蹤效果越好的系統,越能識別微小的動作,比如眼球轉動0.5°前後的差距。當然,僅捕捉1-2°之間變化的也能推斷出用戶意圖或者健康狀況。總之,出於對眼球追蹤系統的體積、重量和功耗考量,有些時候可能要犧牲一下追蹤的準確性,原因是為了更小巧外形和更長續航,以此來滿足C端需求。

為的是欺騙人眼

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

有趣的是,你的雙眼不僅會被大腦欺騙,也會被別人操控。比如,魔術師、扒手可通過轉移你的注意力,悄無聲息地拿走你身上的東西,這又是怎麼回事呢?原來,人眼在快速掃視的時候會繼續捕捉新的細節,也就是說周圍環境出現任何改變都有可能吸引我們的目光。

吸引注意力對於敘事來講至關重要,儘管電影導演沒辦法手動改變觀眾的關注點,但他們可以通過視覺線索去儘量引導。

設計網頁和app的視覺和UI設計也是如此,通過各種不同方式吸引我們的眼球,讓我們最先看到頁面中的重點,然後憑直覺找到該進行的下一步。

對於魔術師來講,即使不想辦法吸引觀眾注意力,他們也會自然地跟隨他的眼神,這也被稱為共享式注意力。在獲得了觀眾注意力後,魔術師就有了偷換身邊物品或場景的機會。聽起來有點誇張,不過可以舉個例子來解釋:人眼從A點向B端快速掃視的過程中看到的畫面實際是模糊的,但你很難注意到A點到B點經過的改變,這也是因為大腦欺騙了你。

再舉個有趣的例子,雞的眼球沒辦法轉動,因此周圍環境改變的時候,為避免視覺產生模糊,它們才需要不斷前後晃動腦袋。

總之,你在眨眼或快速掃視的時候,都給了別人欺騙你的機會。而眼球的這種特性如果為VR所用,便可高效地提高沉浸感。比如,在室內戴VR頭顯移動的時候很可能走走就會碰到牆壁,這時候頭顯的邊界系統會提示你停下,然後遊戲畫面將會改變方向,讓你以為自己在“繼續直行”,其實你可能只是在房間裡的安全區域兜圈子。

為了不讓你發現,VR還會使用一些視覺干擾機制來矇蔽你,這時候眼球追蹤技術就派上用場了。

眼球追蹤的最佳應用

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

關於眼球追蹤的用途,前面已經提到它可以與注視點渲染結合,提高顯示效率,並降低功耗、成本和AR/VR硬件重量,它最理想的效果就是能夠模擬視網膜成像,精準定位你的注視點並達到自然的渲染漸變。

此外,眼球追蹤也可以用於眼球輸入,與用鼠標瀏覽菜單相比,眼球輸入更加自然,將大大優化VR/AR頭顯的UI。想象一下,在未來可能你只需要看一眼檯燈,就會彈出打開或關閉的選項,像讀心術一樣神奇。

在AR頭顯中,眼球追蹤還能被用來調節畫面焦距,比如微軟就曾申請過一項專利,專利中描述了一種根據用戶注視點在近處和遠處之間調節焦距的光學技術,可用於頭顯。Magic Leap的“光場”技術也號稱擁有同樣的功能,儘管實際上僅支持幾個焦點平面,如果要增加焦點則需要疊加更多光波導。總之,最理想的效果就是眼鏡能夠根據眼球注視的每一點調節焦距。

在更遙遠的未來,眼球追蹤不僅能調節焦距,可能還會將你注視的畫面放大,微軟在2010年就已經申請了相關專利。

將眼球追蹤用於醫療

當然也有更偏向科學研究的應用,比如通過眼球追蹤來診斷小孩子自閉症,原理是自閉症孩子的眼動規律與普通孩子有所差異,比如會更頻繁轉動眼睛掃視周圍環境,難以將實現固定在人臉上。同時,眼球追蹤技術也能幫助自閉症孩子糾正一些感知差異,從而緩解病症。

另外,通過測量眼跳運動和瞳孔反應,還能診斷精神分裂症、帕金森症、多動症、腦震盪等病症。

從變現能力來看,將眼球追蹤技術應用在科研和市場調研是目前比較實際的應用場景。通常,調查者會讓測試對象戴眼球追蹤設備進入超市等地點,通過記錄他們眼睛在貨架上掃視的動作信息,來分析是什麼商品,以怎樣的方式,在什麼樣的時間吸引了他們的注意力。如果將上述場景換成VR,那麼獲取信息的速度會更快,也更方便場景自定義。

眼神不會騙人

通過對人眼的追蹤,越來越多的科學研究發現,瞳孔放大的程度也能顯示出人對眼前人、事物的情感或興趣程度。因為,與相機光圈原理相似,人眼瞳孔的主要作用是調節視網膜接收的光線強度,光線強瞳孔就變小,光線弱瞳孔就變大,這是一種自主反應,很難去有意識地控制。因此,瞳孔的大小和變化速度足以透露一個人的內心情緒和認知狀態。

EEG(腦電圖描記器)、測量皮電反應、脈搏和血壓的傳感器也能測出人的情緒,但它們沒辦法識別是什麼外部因素刺激了情緒變化。而結合眼球追蹤,便能做到這一點,大大提高情緒感知的準確性。

關於信息安全

眼球追蹤固然很強大,但想象一下,當未來人手一臺VR/AR頭顯的時候,你的每個眼神可能都會被頭顯記錄,如何保障信息安全呢?也許,在收集這些信息之前,可以徵求用戶許可。理論上講合情合理,可大多數人會覺得服務條款太長了,不看就會選擇同意,所以通常在不知情的情況下就釋放了隱私權限。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Oculus Quest

比如,從Oculus的服務聲明中就可以看到,它們已經在手機用戶的身體運動數據,這些數據將幫助他們研究並優化用戶體驗。這些人體數據到了企業手中,必然存在使用不當的可能。因此,蒐集了哪些數據,數據存儲在哪裡,是否受到保護,如何使用這些問題的答案如果能公開,才有助於提高用戶對企業的信任。

為什麼人體信息這麼重要呢?因為包括虹膜和視網膜血管分佈在內的生物識別數據是每個人獨有的,對於機器學習算法來講,是你唯一的識別符。舉個例子,現在不管是在火車站、賓館還是政府辦公機關,很多地方都開始用刷臉加身份證雙重驗證,因為安全性和準確性都更高。

也就是說,當你的名字、信用卡、身份證等實名信息,以及你的生物識別信息被某企業獲取,那就相當於你將隱私交由他人手中,想永遠在網上保持匿名恐怕不太可能了,因為通過這家企業,想查你並不難。(以前是查IP,現在有辦法偽造IP,但生物信息造假就太難了)

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

HoloLens 2

與Oculus相同,微軟HoloLens 2頭顯也會收集用戶的生物識別信息,它會通過識別瞳孔來對你進行認證,有點像電影裡演的那樣。為了驗證,生物識別系統會調出你的”數字簽名“,而不是用原始圖像來識別你,如果你的眼球與簽名符合,那麼就會通過認證。每個人的瞳孔信息都不一樣,安全性比密碼更高。

HoloLens 2瞳孔識別功能

那麼微軟是怎麼保護HoloLens 2中收集的瞳孔信息呢?據悉,HoloLens 2會將你的信息存儲在設備中,具體來講就是設備強制加密的保險庫中。因此,想盜取你信息的人必須先偷走你的頭顯,然後進行破解,和直接侵入系統盜取大量信息相比,這一過程費時又費力。

當然,將生物數據複製並存儲在雲端自然很方便(可用作備份,或者跨設備登陸),但這樣信息就很容易被盜取,你被別人模仿的機率也更高。

總之,生物識別信息丟失是很麻煩的,密碼如果丟了可以重置,但你很難給自己換個眼球。因此,收集用戶生物識別信息的企業必須採取最嚴格的安全措施。

關於開發者與信息安全

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

企業保護信息安全是一方面,但其實開發者們也會接觸到用戶的這些數據。微軟和Magic Leap均支持第三方開發者開發基於眼球追蹤的應用,眼球追蹤可以幫他們找到新的交互方式,但同時也帶來了嚴重的隱私問題。

對於這個問題,微軟拒絕發表評論,Magic Leap也並未作迴應。而Oculus發言人表示:目前發售的Oculus產品均未採用眼球追蹤技術,不過在未來可能會加入。

先不管開發者們是否會盜取或者出售你的生物識別信息,首先,對他們來說這些信息本身就足夠有價值,因為眼球追蹤能透露出用戶看任何事物的方式,不管是不經意略過,還是邊看邊沉思,或者凝視、很快轉移目光,還能識別用戶的情緒,比如:感興趣、激動、尷尬或者無聊等。此外,通過測量用戶對不同人的注意力,還能分析性取向。

不僅如此,通過眼球追蹤還能推斷你對朋友或者同事的情感,比如感興趣、被吸引、失望甚至嫉妒,或者也可以分析吸引你的外貌特徵、你的自信程度、甚至你的感情狀態。

大多數時候,你的”喜歡“會直接從眼神流露出來。而眼球追蹤收集到的元數據也是如此,它其實會透露你的行為模式或者心理活動,透露你的個性並用於預測你的行為(甚至可用於模仿你的行為)。

如果用在營銷上,人眼透露的這些信息便能讓企業瞭解你對某種汽車、書籍、飲料、食物、網頁、或者海報的看法,他們會猜測你的喜好、或者對什麼不感興趣。進而,企業便能為你量身設計廣告,吸引你下單。試想一下,有時候某個廣告過於洗腦,即使裡面賣的東西你不感興趣,你也會忍不住記得它。好的廣告能夠為企業帶來強大的變現能力。

你可能會說了,現在用大數據推算的方式已經足夠好了,加上眼球追蹤技術會更好嗎?是的。現在你搜索的關鍵詞可能會被淘寶、京東等電商用作推薦產品的依據,但有時候你只是搜一下並不想買,或者已經買過了,為了避免這種現象,商家可以使用眼球識別技術來實時追蹤消費者的注意力,在最合適的時機達到最有力的宣傳效果,甚至還能促使消費者做決定,掏腰包買東西。

或者被用來做實驗?

為進一步瞭解甚至“操控”用戶,企業可能會利用視覺線索對用戶做實驗,比如通過提供不同信息,測試並影響用戶的反應。其實,現在的廣告已經足以影響或者誤導群眾,但要是有眼球追蹤信息加持,那廣告的效果還將大幅提高,甚至可能消費者都不知道自己是怎麼被影響的。

這些用來測試用戶反饋的內容可能出現在任何地方,可能是背景中的道具,也可能是你關注的對象,在AR/VR中,則可能是出現在你眼前的內容,而用戶對這些測試內容的無意識情緒反饋很可能會被企業記錄下來。

除了記錄人眼反饋,眼球追蹤技術還能幫助快速切換灌輸給人眼的信息,作用就有點像是用於網頁優化的A/B測試法(將兩種頁面隨機推送給瀏覽用戶,然後分別統計用戶轉化率),只不過在AR/VR中可通過算法來實時、快速替換屏幕顯示的內容,在用戶眨眼或者快速掃視時進行替換,就很難被發覺。這樣一來,便可在短時間內大量多次地測試人眼反饋,與傳統實驗方法相比,信息量能提高一個數量級,你的每個細微動作都盡在掌握。

聽起來的確有點可怕,但商家如果能通過這種方式為你推薦你會喜歡或使用的產品,其實也可以達到雙贏效果。

眼球追蹤是把雙刃劍

"

隨著越來越多的AR/VR頭顯開始加入眼球追蹤功能,這項技術逐漸被看做是下一代頭顯的標配。眼球追蹤有多種應用和優勢,比如用於人機交互,或者提高渲染效率,生物識別,調節頭顯IPD瞳距,甚至可以評估生命體徵和心理活動。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

但就像指紋信息一樣,眼球信息如果利用不當可能會對用戶的隱私帶來很大威脅。從短期來看,如果將眼球追蹤與AR/VR頭顯結合,企業便能收集用戶對不同信息和內容產生的私密且無意識的反應。往好的方面想,企業得到這些信息是為了給用戶提供更好的體驗,但對於廣告來講,這些信息是非常有價值的。

如果人的眼球信息為廣告商所用,他們便能學習、預測甚至操縱人的行為。那怎麼才能在儘量不侵犯用戶隱私的情況下,找到眼球追蹤的最佳應用呢?

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Avi Bar-Zeev

對於這個問題,今年2月從蘋果離職的Avi Bar-Zeev(也是HoloLens聯合發明者)在《Vice》雜誌發表了一篇文章,並表達了自己的看法。他談到:我們現在就應該開始樹立安全意識,因為在未來企業們將不得不認可,眼球數據與醫療檔案或者其他生物識別數據同等重要,必須受到保護。

以下內容為Bar-Zeev原創,青亭網整理。

關於眼球追蹤原理

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

人眼接收光線原理

在深入問題之前,先來看看人眼的工作原理。人類眼球的功能相當於光學元件,主要的作用是接收並感知光線,而眼球后面的視網膜會將光線數據轉化成大腦能夠識別的信號。每個視網膜中心都有一個小窩(foveae),裡面密集的排布著細胞,是人眼能提供最高分辨率視覺的區域,僅佔人眼中央5°的FOV。而小窩之外的其他區域被稱作做周邊視野,也就是餘光,大約有220°FOV(雙目)。

周邊視野擅長識別動作、視覺規律,比如地平線、陰影,甚至還能看到來自其他人的目光,但是對於顏色或細節的識別能力極弱。

打個比方,當你在讀本文的時候,你以為每一個字看起來都很清晰,實際上你每次只能清楚看到一兩個詞。

這是因為大腦欺騙了你,為了讓你覺得眼前的畫面到處都無比清晰,眼球會四處掃視,就像是在黑夜探路的手電筒一樣,一點一點識別周圍的環境。總之,人眼周邊視野中的細節大部分是靠人腦的記憶,或者是想象出來的。

用眼神追蹤優化渲染效率

依靠眼球快速掃視(saccades)的規律,計算機也能模擬大腦猜測你當下的想法,或者注視的方向,以此來優化屏幕渲染效率,重點提高注視點分辨率,降低周邊視野分辨率。

除了快速掃視,計算機也可以模擬人眼的“平穩追蹤”功能,簡單來講,就是在追蹤移動的汽車或者棒球的時候,人眼會常常進行校正和調整,在你不注意的時候保持視線平穩。

通過訓練,計算機能夠以多種方式追蹤人眼運動,最常見的方法就是用一個或以上的微型攝像頭近距離追蹤眼球,然後將收集到的信息交給計算機視覺軟件進行實時處理,最後能計算出瞳孔位置和注視點。

有的方案還會在微型攝像頭旁加入小型LED燈,利用紅外光反射原理來測量瞳孔位置。或者,也可以採用測量眼肌電信號的方式來追蹤眼球,原理是測量眼球表面到傳感器的距離。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

眼球追蹤效果越好的系統,越能識別微小的動作,比如眼球轉動0.5°前後的差距。當然,僅捕捉1-2°之間變化的也能推斷出用戶意圖或者健康狀況。總之,出於對眼球追蹤系統的體積、重量和功耗考量,有些時候可能要犧牲一下追蹤的準確性,原因是為了更小巧外形和更長續航,以此來滿足C端需求。

為的是欺騙人眼

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

有趣的是,你的雙眼不僅會被大腦欺騙,也會被別人操控。比如,魔術師、扒手可通過轉移你的注意力,悄無聲息地拿走你身上的東西,這又是怎麼回事呢?原來,人眼在快速掃視的時候會繼續捕捉新的細節,也就是說周圍環境出現任何改變都有可能吸引我們的目光。

吸引注意力對於敘事來講至關重要,儘管電影導演沒辦法手動改變觀眾的關注點,但他們可以通過視覺線索去儘量引導。

設計網頁和app的視覺和UI設計也是如此,通過各種不同方式吸引我們的眼球,讓我們最先看到頁面中的重點,然後憑直覺找到該進行的下一步。

對於魔術師來講,即使不想辦法吸引觀眾注意力,他們也會自然地跟隨他的眼神,這也被稱為共享式注意力。在獲得了觀眾注意力後,魔術師就有了偷換身邊物品或場景的機會。聽起來有點誇張,不過可以舉個例子來解釋:人眼從A點向B端快速掃視的過程中看到的畫面實際是模糊的,但你很難注意到A點到B點經過的改變,這也是因為大腦欺騙了你。

再舉個有趣的例子,雞的眼球沒辦法轉動,因此周圍環境改變的時候,為避免視覺產生模糊,它們才需要不斷前後晃動腦袋。

總之,你在眨眼或快速掃視的時候,都給了別人欺騙你的機會。而眼球的這種特性如果為VR所用,便可高效地提高沉浸感。比如,在室內戴VR頭顯移動的時候很可能走走就會碰到牆壁,這時候頭顯的邊界系統會提示你停下,然後遊戲畫面將會改變方向,讓你以為自己在“繼續直行”,其實你可能只是在房間裡的安全區域兜圈子。

為了不讓你發現,VR還會使用一些視覺干擾機制來矇蔽你,這時候眼球追蹤技術就派上用場了。

眼球追蹤的最佳應用

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

關於眼球追蹤的用途,前面已經提到它可以與注視點渲染結合,提高顯示效率,並降低功耗、成本和AR/VR硬件重量,它最理想的效果就是能夠模擬視網膜成像,精準定位你的注視點並達到自然的渲染漸變。

此外,眼球追蹤也可以用於眼球輸入,與用鼠標瀏覽菜單相比,眼球輸入更加自然,將大大優化VR/AR頭顯的UI。想象一下,在未來可能你只需要看一眼檯燈,就會彈出打開或關閉的選項,像讀心術一樣神奇。

在AR頭顯中,眼球追蹤還能被用來調節畫面焦距,比如微軟就曾申請過一項專利,專利中描述了一種根據用戶注視點在近處和遠處之間調節焦距的光學技術,可用於頭顯。Magic Leap的“光場”技術也號稱擁有同樣的功能,儘管實際上僅支持幾個焦點平面,如果要增加焦點則需要疊加更多光波導。總之,最理想的效果就是眼鏡能夠根據眼球注視的每一點調節焦距。

在更遙遠的未來,眼球追蹤不僅能調節焦距,可能還會將你注視的畫面放大,微軟在2010年就已經申請了相關專利。

將眼球追蹤用於醫療

當然也有更偏向科學研究的應用,比如通過眼球追蹤來診斷小孩子自閉症,原理是自閉症孩子的眼動規律與普通孩子有所差異,比如會更頻繁轉動眼睛掃視周圍環境,難以將實現固定在人臉上。同時,眼球追蹤技術也能幫助自閉症孩子糾正一些感知差異,從而緩解病症。

另外,通過測量眼跳運動和瞳孔反應,還能診斷精神分裂症、帕金森症、多動症、腦震盪等病症。

從變現能力來看,將眼球追蹤技術應用在科研和市場調研是目前比較實際的應用場景。通常,調查者會讓測試對象戴眼球追蹤設備進入超市等地點,通過記錄他們眼睛在貨架上掃視的動作信息,來分析是什麼商品,以怎樣的方式,在什麼樣的時間吸引了他們的注意力。如果將上述場景換成VR,那麼獲取信息的速度會更快,也更方便場景自定義。

眼神不會騙人

通過對人眼的追蹤,越來越多的科學研究發現,瞳孔放大的程度也能顯示出人對眼前人、事物的情感或興趣程度。因為,與相機光圈原理相似,人眼瞳孔的主要作用是調節視網膜接收的光線強度,光線強瞳孔就變小,光線弱瞳孔就變大,這是一種自主反應,很難去有意識地控制。因此,瞳孔的大小和變化速度足以透露一個人的內心情緒和認知狀態。

EEG(腦電圖描記器)、測量皮電反應、脈搏和血壓的傳感器也能測出人的情緒,但它們沒辦法識別是什麼外部因素刺激了情緒變化。而結合眼球追蹤,便能做到這一點,大大提高情緒感知的準確性。

關於信息安全

眼球追蹤固然很強大,但想象一下,當未來人手一臺VR/AR頭顯的時候,你的每個眼神可能都會被頭顯記錄,如何保障信息安全呢?也許,在收集這些信息之前,可以徵求用戶許可。理論上講合情合理,可大多數人會覺得服務條款太長了,不看就會選擇同意,所以通常在不知情的情況下就釋放了隱私權限。

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

Oculus Quest

比如,從Oculus的服務聲明中就可以看到,它們已經在手機用戶的身體運動數據,這些數據將幫助他們研究並優化用戶體驗。這些人體數據到了企業手中,必然存在使用不當的可能。因此,蒐集了哪些數據,數據存儲在哪裡,是否受到保護,如何使用這些問題的答案如果能公開,才有助於提高用戶對企業的信任。

為什麼人體信息這麼重要呢?因為包括虹膜和視網膜血管分佈在內的生物識別數據是每個人獨有的,對於機器學習算法來講,是你唯一的識別符。舉個例子,現在不管是在火車站、賓館還是政府辦公機關,很多地方都開始用刷臉加身份證雙重驗證,因為安全性和準確性都更高。

也就是說,當你的名字、信用卡、身份證等實名信息,以及你的生物識別信息被某企業獲取,那就相當於你將隱私交由他人手中,想永遠在網上保持匿名恐怕不太可能了,因為通過這家企業,想查你並不難。(以前是查IP,現在有辦法偽造IP,但生物信息造假就太難了)

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

HoloLens 2

與Oculus相同,微軟HoloLens 2頭顯也會收集用戶的生物識別信息,它會通過識別瞳孔來對你進行認證,有點像電影裡演的那樣。為了驗證,生物識別系統會調出你的”數字簽名“,而不是用原始圖像來識別你,如果你的眼球與簽名符合,那麼就會通過認證。每個人的瞳孔信息都不一樣,安全性比密碼更高。

HoloLens 2瞳孔識別功能

那麼微軟是怎麼保護HoloLens 2中收集的瞳孔信息呢?據悉,HoloLens 2會將你的信息存儲在設備中,具體來講就是設備強制加密的保險庫中。因此,想盜取你信息的人必須先偷走你的頭顯,然後進行破解,和直接侵入系統盜取大量信息相比,這一過程費時又費力。

當然,將生物數據複製並存儲在雲端自然很方便(可用作備份,或者跨設備登陸),但這樣信息就很容易被盜取,你被別人模仿的機率也更高。

總之,生物識別信息丟失是很麻煩的,密碼如果丟了可以重置,但你很難給自己換個眼球。因此,收集用戶生物識別信息的企業必須採取最嚴格的安全措施。

關於開發者與信息安全

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

企業保護信息安全是一方面,但其實開發者們也會接觸到用戶的這些數據。微軟和Magic Leap均支持第三方開發者開發基於眼球追蹤的應用,眼球追蹤可以幫他們找到新的交互方式,但同時也帶來了嚴重的隱私問題。

對於這個問題,微軟拒絕發表評論,Magic Leap也並未作迴應。而Oculus發言人表示:目前發售的Oculus產品均未採用眼球追蹤技術,不過在未來可能會加入。

先不管開發者們是否會盜取或者出售你的生物識別信息,首先,對他們來說這些信息本身就足夠有價值,因為眼球追蹤能透露出用戶看任何事物的方式,不管是不經意略過,還是邊看邊沉思,或者凝視、很快轉移目光,還能識別用戶的情緒,比如:感興趣、激動、尷尬或者無聊等。此外,通過測量用戶對不同人的注意力,還能分析性取向。

不僅如此,通過眼球追蹤還能推斷你對朋友或者同事的情感,比如感興趣、被吸引、失望甚至嫉妒,或者也可以分析吸引你的外貌特徵、你的自信程度、甚至你的感情狀態。

大多數時候,你的”喜歡“會直接從眼神流露出來。而眼球追蹤收集到的元數據也是如此,它其實會透露你的行為模式或者心理活動,透露你的個性並用於預測你的行為(甚至可用於模仿你的行為)。

如果用在營銷上,人眼透露的這些信息便能讓企業瞭解你對某種汽車、書籍、飲料、食物、網頁、或者海報的看法,他們會猜測你的喜好、或者對什麼不感興趣。進而,企業便能為你量身設計廣告,吸引你下單。試想一下,有時候某個廣告過於洗腦,即使裡面賣的東西你不感興趣,你也會忍不住記得它。好的廣告能夠為企業帶來強大的變現能力。

你可能會說了,現在用大數據推算的方式已經足夠好了,加上眼球追蹤技術會更好嗎?是的。現在你搜索的關鍵詞可能會被淘寶、京東等電商用作推薦產品的依據,但有時候你只是搜一下並不想買,或者已經買過了,為了避免這種現象,商家可以使用眼球識別技術來實時追蹤消費者的注意力,在最合適的時機達到最有力的宣傳效果,甚至還能促使消費者做決定,掏腰包買東西。

或者被用來做實驗?

為進一步瞭解甚至“操控”用戶,企業可能會利用視覺線索對用戶做實驗,比如通過提供不同信息,測試並影響用戶的反應。其實,現在的廣告已經足以影響或者誤導群眾,但要是有眼球追蹤信息加持,那廣告的效果還將大幅提高,甚至可能消費者都不知道自己是怎麼被影響的。

這些用來測試用戶反饋的內容可能出現在任何地方,可能是背景中的道具,也可能是你關注的對象,在AR/VR中,則可能是出現在你眼前的內容,而用戶對這些測試內容的無意識情緒反饋很可能會被企業記錄下來。

除了記錄人眼反饋,眼球追蹤技術還能幫助快速切換灌輸給人眼的信息,作用就有點像是用於網頁優化的A/B測試法(將兩種頁面隨機推送給瀏覽用戶,然後分別統計用戶轉化率),只不過在AR/VR中可通過算法來實時、快速替換屏幕顯示的內容,在用戶眨眼或者快速掃視時進行替換,就很難被發覺。這樣一來,便可在短時間內大量多次地測試人眼反饋,與傳統實驗方法相比,信息量能提高一個數量級,你的每個細微動作都盡在掌握。

聽起來的確有點可怕,但商家如果能通過這種方式為你推薦你會喜歡或使用的產品,其實也可以達到雙贏效果。

眼球追蹤是把雙刃劍

HoloLens聯合發明者:眼球追蹤開啟AR/VR隱私時代

當然,眼球追蹤在B端的應用不會僅限於吸引用戶或者促進銷量,也可能被用於影響群眾的政治觀念等等。這種生物識別信息還可能被用來對付你,拿健康數據舉例,如果未來保險公司有辦法瞭解用戶的遺傳易感性,就很可能會對容易生病的人拒絕承保或者收取更多費用。

總之,可以想象信息在未來何等重要,如果丟失了信息,那你的自由可能都會交由別人做主。

好在,AR/VR市場目前還趨於小眾,在未來每個人都用上AR/VR頭顯的時候,那信息安全問題也就更不容忽視了。那麼,在主流市場接受AR/VR之前,信息安全能否得到解決呢?

三種可能的方案

方案A:自發遵循行為規範

以下列舉了一些可行的行為規範,並呼籲開發空間技術解決方案的企業採納:

1,眼球追蹤數據和衍生的元數據被視作健康和生物數據,必須得到好好保護;

2,原始的眼球數據和相關的攝像頭圖像數據不該被存儲或傳輸,尤其是虹膜這種高度敏感的數據,應該存在用戶自己設備中的安全加密庫中,並且由特殊硬件來保護,不論成本多高;

3,一旦獲取生物識別相關數據,必須以加密的方式存儲在設備中,只有在本人知情且統一的情況下才能進行傳輸;必須設立一個明確的信息監管流程,包括:申請許可、加密、認證、授權和記錄(AAA);此外,若要將這些數據與其他數據結合,則需向用戶申請額外許可且確保信息的高度安全;

4,應用能接收的數據僅限於注視點數據,同時也要遵循高度安全規範;

5,若採用行為模型,則需要確保它存在的唯一目的只是為了用戶的利益,而且這些模型數據必須不能為任何第三方所用;

6,在最終用戶許可協議、服務條款和彈出協議基礎上,企業必須有效確保用戶/消費者完全瞭解個人數據被使用的目的、時間和方式等信息,並且給予他們隨時消除所有數據和撤銷權限的選擇;

7,如果不能做到真正安全和匿名,就不要誇大宣傳,一來,有些時候並不能做到完全匿名,二來,僅承諾匿名並不能避免“對敲”(財經術語:經紀人利用顧客資金卻不執行顧客命令,而為是為自己從中獲利的行為)等背後利用用戶的行為。

8,用戶應該有權利瞭解為什麼會得到某樣內容的推送,相關的“暗箱操作”和背後原因應該更加透明。

上述規範為未來企業處理用戶數據提供了底線和原則,如果企業能從現在就開始重視信息安全隱私的問題,不僅會在未來給他們省一大筆錢(避免隱私問題引起的官司),還能提高競爭力,拉開與其他公司的差距。

方案B:政府插手管理

如果企業沒能自願遵守上述規範,並嚴重侵犯隱私,那麼政府監管則是必不可少的。現有的政府監控法規包括:美國個人可識別健康信息隱私標準(HIPPA)、歐盟通用數據保護條例(GDPR),但這還不夠。

作為制定法規的參考,我們可以將生物識別等個人信息和可預測的行為模型視作人的“數字化身”,也應該具有和人同等的部分權利,因此這些數字化身絕不應該被任何第三方持有或交易,只能作為用戶在數字世界的化身存在。

當然,政府監管並不是萬能藥,它的缺點是常常會限制科技創新,也限制了用數據為人類造福的人。

方案C:自己的數據自己管

目前這只是個構想,假設在未來有一款叫做“個人保護者”的全新服務,它也會收集用戶的個人數據,建設行為、性格模型,但是會作為你的數字化身,伴你左右,而且只會做對你有益的事情。

可以將這種數字化身看做是我們的外置“個人衛士”或者“早期預警系統”,如果有任何企業想要利用我們的數據來營銷,那這個“個人衛士”會幫助我們識別、推算我們的意願,並作出決定。此外,它還能幫我們過濾信息,避免我們被營銷手段迷惑,還將企業的廣告進行分類,為我們提煉出這些企業的產品能帶來的好處。

這麼做的風險是,提供這種服務的企業最開始可能會獲得大眾信任,但如果隨後被收購或者創始人、董事會成員更換,造成企業準則變更,也會帶來不小的風險。

儘管方案C聽起來距離我們還比較遙遠,但以現在的技術來講也不是完全不可能,因此在AR/VR這種搭載眼球和生物識別技術的設備普及之前,從現在開始著手信息安全有何不可呢?

"

相關推薦

推薦中...