上海科技大學曹煊博士：Magic Leap負責光場的顯示輸出，我們負責光場的採集輸入

（Magic Leap AR大象）

雷鋒網按：近日，AR創業公司Magic Leap又融資5億美元的消息讓業界不少人感到震驚。這家一直沒有產品的神祕的公司一度被認為是騙子，但是其究竟是憑什麼打動谷歌、阿里、淡馬錫這些投資者？上海科技大學曹煊博士曾發文指出，Magic Leap的核心價值其實在光場顯示技術。話題正熱，我們不妨來看，光場技術究竟能為AR/VR帶來什麼？

VR的主要特色是身臨其境，可以讓我們足不出戶就領略世界各地的奇妙景觀，可以潛入深海近距離觀看鯊魚，可以漫步在沙漠的風暴中心，可以穿著觀賞極寒之地的極光。

然而，在入秋的北京，雷鋒網編輯最想看的不過是某個寺廟前滿樹金黃的古老銀杏。捧一本書，坐在樹下，就可以感受秋天的季候和植物之間的光影變化。

從各個不同的角度，去感受光的變化，影的變化。這是目前VR還不能做到的。

目前VR內容製作主要有相機採集和計算機模擬生成兩種方法：相機採集的方法主要採用傳統2D相機構成陣列進行環拍，例如Surround 360、Jump等360度全景相機；這種方式無法提供人眼需要的雙目視差、移動視差和動態對焦。計算機模擬生成3D內容，雖然具有雙目視差、移動視差和動態對焦，但卻缺少如同真實世界中的準確幾何信息和光影效果。只有同時達到了兩方面的視覺效果，才能實現人眼無法分辨的自然而真實的視覺體驗。

而光場技術就是其中的核心，也成為了國際上競相角逐的技術制高點。

9月27日，在北航召開的“三維顯示技術與產業發展高峰論壇”上，上海科技大學虛擬現實與視覺計算中心（VRVC)曹煊博士分享了他和虞晶怡教授正在從事的“虛擬現實與光場採集技術”。

曹煊在為什麼要做光場、如何採集光場以及光場技術的未來發展等方面做出了詳細介紹。

為什麼VR/AR需要光場技術？

首先，他回答的問題是：為什麼我們要做光場？“做光場最主要的原因就是我們人的眼睛對於視覺非常的挑剔。我們人眼看三維世界有心理上的暗示， 比如近大遠小，遮擋、陰影、光照、經驗先驗知識等等這樣一些心理方面。但是這不是主要的，更為主要的是生理上的深度信息，包括：雙目視差、雙目匯聚、移動視差和聚焦模糊。人就是依靠這四個方面（雙目視差、雙目匯聚、移動視差和聚焦模糊）來感知到三維環境。”

目前的3D電影實際上只做到了雙目視差。通過為兩眼提供不同的圖像，來塑造立體感。與3D電影相比，VR增加了移動視差。曹煊舉例說，看3D電影的時候，坐在左側的觀眾和坐在右側的觀眾，戴上3D眼睛看到的3D內容是一樣的，實際上這是不正確的。因為如果說這是一個三維的物體的話，那麼右側的觀眾應該看到我的右臉，而左側的觀眾看到我的左臉。但實際上你去電影院看電影的時候，無論你坐在左側還是右側，你看到的都是男主角的正臉，而不會因為你坐到不同的位置，移動到不同的位置，而看到不同的圖像。

VR有了雙目視差和移動視差，但是還缺少聚焦模糊。我們人眼在看VR的時候，因為有雙目視差，左眼和右眼能看到不一樣的圖像產生三維視覺。但是VR的頭顯裡面永遠都是靜態的、固定距離的一層屏幕在那兒顯示，我的眼睛的睫狀肌不能跟隨三維物體來回地前後聚焦，這會導致人眼在一定程度上失焦，使得雙眼十分疲勞。同時，眼鏡聚焦的位置和我看到三維物體的位置又產生了衝突，大腦就會反應不過來，它不知道你到底告訴它看近處還是看遠處，這也會加重VR眩暈症。

而解決辦法就是讓VR眼鏡能夠同時顯示不同距離上的多層圖像，當層數足夠多的時候，當你的離散程度達到一定的密集程度以後，你就可以在很高的程度上去逼近這樣連續的聚焦空間。如果我們的VR眼鏡能夠實現這樣顯示的效果的話，那麼我們VR就基本上達到近似完美的顯示技術。

但是這個問題並不簡單。最核心的一個技術途徑就是Magic Leap所號稱的——光場技術。光場技術簡單來說，就是一個物體的表面所發出的各向異性的光線。“大家今天能夠看到我在這裡做報告，並不是因為大家摸到了我，大家聞到了我，而是因為大家看到我表面任意一個點在各個方向上所發出不同的光線，我們叫各向異性的光線。”各向異性光線的結合就是光場。

要實現這樣一個光場並不是那麼簡單。因為你既要顯示，同時你還需要採集。Magic Leap做的事情是把這樣一個高維度的光場信息顯示出來，通過戴眼鏡或者甚至不戴眼鏡的技術途徑把光場的信息全部都顯示出來。而上海科技大學虛擬現實與視覺計算中心（VRVC）要做的是在能夠顯示之前首先能把這樣光場的信息採集下來。因為如果不採集下來的話，裸眼三維或者是光場顯示，實際上是巧婦難為無米之炊。

光場採集如何做？

在解釋清楚為什麼光場技術是VR的核心技術，以及為什麼要做光場採集後，接下來，曹煊介紹了光場採集的三個方向的技術平臺。

第一方面，用相機陣列去模擬昆蟲的複眼，從而實現動態聚焦的效果。比如通過一個正面相機可以聚焦在後面這個同學身上，也可以聚焦在中間的同學身上，也可以聚焦在近處的同學的臉上。這就是正面相機構成的複眼所實現的光場動態聚焦的功能。

第二套設備，是具有雙目視差的全景相機。傳統的全景相機，就等效為一個人用單個眼睛環繞360度的環境去看一週。但是把雙目視差引入到了全景相機裡面，人既能看到360度的圖像，左眼和右眼也可以看到不一樣的圖像。這樣，在看360度圖像的同時，能夠感知到同一個角度上物體遠近位置的不同。

這個全景相機的平臺還加入了語義感知。也就是智能拼接，在拼接360度的內容時，首先會把這個物象中的語義，也就是說這個物體是什麼東西，比如說這是一個房子，這是一條河流，這是一棵樹。這個語義感知出來的時候，在拼縫的時候就可以把有語義的主體繞開，能夠避免這樣一個主體被破壞。把這樣一個全景相機和雲端結合起來，從而形成了一整套這樣採集、處理、顯示完整的處理鏈路。

第三套設備，一個全方位的光場採集設備。實現了水平360度，垂直近似於360度，總共720度的光場的幾乎無死角的採集。用這樣的設備，能實現幾乎是瞬間採集。就像單反拍照一樣，一拍就能生成3D模型在建模的同時，除了利用傳統的一些計算機視覺、計算機圖像學的一些技術以外，還把人工智能的技術加進去了。因為沒有辦法用一個統一的數學模型能夠把人眼成像的機理，能夠清晰、完整、準確的建模建出來。那麼我們採用了這樣一個深度學習的方法，我們通過機器學習來模擬人眼的視覺感知能力。

此外，有了模型之後還需要與深度學習相結合。在有了模型之後，要讓模型看起來真實，需要使得這個模型表面的點向各個方向發出的異性光，都要和真實的物體足夠的接近、足夠的逼真。人或者物品在三維環境當中與光線有了交互的關係，那麼看上去就足夠的逼真了。

用深度學習的辦法，把模型和採集到各向異性的光線的圖片同時放到網絡裡面去，從而讓網絡或者是機器學習的辦法來決定每一個像素的每一個方向應該發出什麼樣的光線，才能夠使我們的眼睛看上去足夠的逼真，滿足我們挑剔的人眼。

上面這張圖片有一個桌面，上面有一個檯燈，有花，有一個唐三彩的馬。這些物體都非常的逼真，但是實際上這個唐三彩的馬在這個桌面上並不存在的，而是建完模型以後，用手機AR疊加上去的。整個馬錶面上的反光、高光的反射，還有它的這個陰影，還有互相遮擋的關係，都是可以用深度學習的辦法，把它準確的算出來的。在一定程度上，可以說欺騙了大家挑剔的眼睛。

光場技術的未來應用

介紹完目前取得的進展後，曹煊也對光場技術的未來進行了展望。

首先，他認為可以把光場應用到智能視覺裡面去。在未來，光場會取代我們2D圖片變成一種全新的視覺輸入語言。現在光場數據量很大，隨著5G網絡出現以及數據壓縮技術進一步改進，還有量子計算機出現，光場技術就可以有廣泛運用。例如，大家過安檢的時候，可以用光場相機去識別人臉。傳統相機會失焦，但是光場相機可以捕捉每一個人的臉，即使有人被遮擋。

其次，光場技術所要實現的目標是模糊虛擬和現實的邊界。如果虛擬物體足夠真實，那你也就無法區分。依靠這樣的一個光場技術，那麼你就可以在家裡逛商場，逛美國的第五大道購物天堂。那麼你可以去感受到這樣一個逼真的LV包包的材質，它的反光，它的所有各個方面。我們期望建立這樣一個高自動化、低干預度流水線的光場建模的平臺。那麼所有的物品經過這樣流水線的處理，那麼我們所有的這樣現實生活中的物品都被我們用數字化的手段克隆到了我們三維世界當中去。

小結

(Magic Leap鏡片）

光場技術是支持VR/AR更逼近現實，模糊虛擬與現實分界的技術。Magic Leap的核心技術主要有三方面：(SLAM、CG、Light Filed)，光場技術更是其核心技術，這或許是其能總融資14億美元，估值60億的原因。在發表於中國電子報的文章《Magic Leap光場技術：是技術之躍，更是魔法之躍》這篇文章裡，曹煊曾指出：Magic Leap 並沒有宣稱能實現裸眼3D，還是要靠鏡片實現。Magic Leap稱之為硅光電技術(Silicon Photonics)，極有可能是Silicon Waveguides技術，光學頂級期刊OE上有大量文章研究過該技術。以色列Lumus以及微軟HoloLens採用的是光波導技術(Light Waveguides)，可以使顯示器件更輕更薄，但只能為單眼投射單幅圖像。而Magic Leap卻稱其採用的技術不僅能輕薄化，還能為單眼提供多幅不同聚焦的圖片，從而實現光場顯示。

Magic Leap光場顯示技術還面臨著光場數據量太大、光場計算量大、小型化便捷性等多個商業化難題。曹煊認為：“光場顯示更依賴於特殊的顯示器件(硬件)，而光場採集更依賴於算法(軟件)。Magic Leap演示的所有Demo中，無論是機器人、太陽系、辦公室的郵件等都是計算機渲染的光場，而沒有采集真實場景的光場，可見Magic Leap現在還無暇顧及光場採集技術，亦或等待與其他光場採集技術團隊合作。”

據雷鋒網瞭解，曹煊所在的上海科技大學虛擬現實與視覺計算中心（VRVC）由虞晶怡教授領導組建，該實驗室致力於光場虛擬現實平臺的研究和應用，以實現人眼無法分辨的虛擬現實為目標，從光場的捕獲、壓縮、處理、渲染和顯示等方面開展基礎理論研究與核心技術攻關，探索從微觀尺度到宏觀尺度的光場虛擬現實技術，將率先實現達到人眼分辨率的動態真實場景的360度3D全景實時採集、處理和遠程重現技術，提供跨尺度、跨學科的通用光場技術平臺。如果說Magic Leap的核心是光場的顯示輸出，VRVC專注的則是光場的採集輸入。