讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

虛擬現實 單反 Facebook Unity引擎 VR陀螺 2017-05-25

文 | VR陀螺 雲吞

一個愛電影、愛擼貓的小姐姐

一千個人對VR有不止一千種理解,但歸根結底,對真實世界的無限逼近和模擬是VR最為重大的使命之一。

而有一間叫做OTOY的公司,又把“讓VR世界和現實世界難辨真假”當成了自己的使命。雲渲染、真人面部捕捉、光場傳輸、6DoF視頻……OTOY的VR版圖正在以難以想象的速度擴張。

2017年,在VR面臨前途未卜的分岔路口之際,OTOY在VR上的野心,很有可能會在業界掀起一場革命。

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

特效、引擎、3D格式、VR全面開花

成立於2009年的OTOY,從一開始的目標就是為電影工作者、3D設計師、動畫師、遊戲開發者提供實時、電影級質量的3D圖像服務。到目前為止,OTOY已經在捕捉、渲染和流式傳輸方面推出了多種服務,力求提高生成圖像、處理圖像、分發圖像過程的效率,同時確保圖像有著極高的質量。

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

公司在成立之初,就展示了一項劃時代意義的產品:LightStage面部掃描技術。這項技術來源於USC-ICT(南加州大學創意科技學院)的兩位學者,可以對人臉進行進行極為精細的捕捉和數字重現。OTOY在買下這項技術後,在後期增添了自己的算法,隨後就實現了商用化,並且在好萊塢佔領了一席之地。工業光魔、數字王國等特效公司紛紛採用LightStage,用於電影和電視劇中的特效製作。

比如在《復仇者聯盟》中,綠巨人變身後的形象就需要用LightStage來事先捕捉演員原本的面部特徵和動作;在《本傑明巴頓奇事》中,由於電影講述了男主角返老還童的故事,也運用了LightStage來展現同一個演員從老年到兒童的外貌改變。

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

在2011年時,OTOY收購了新西蘭軟件公司Refractive,將其旗下的Octane渲染器收入囊中。Octane是首款以顯卡GPU作為運算核心的渲染器,渲染速度極快,被廣泛應用於電視電影及商業廣告大片的製作中。相比基於CPU的渲染,基於GPU的渲染可以花費更少的時間來完成十分出色的作品,達到10~50倍的速度提升。Octane渲染器速度快而且可交互,能實時獲得渲染結果。

Octane最好的廣告莫過於前段時間大熱的HBO美劇《西部世界》的片頭——這個無比詭異、精緻、如照片般寫實的視頻就是由Octane渲染而成。

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

隨後,公司又推出了自研的Brigade遊戲引擎。Brigade採用了更先進的路徑和光線實時追蹤技術,將遊戲畫面渲染得更加逼真。同時,Octane和Brigade都是基於雲端的工具,相當於有20000個GPU在同時工作,開發者並不用擔心自己的計算機運算能力過低。

而為了讓3D圖像更加逼真、更易於傳播,OTOY在2014年推出了3D格式技術.ORBX,試圖讓這一格式在3D格式中如.JPG那樣流行。不同於普通的3D格式.OBJ與.FBX,.ORBX格式能夠涵括所有3D相關的信息,包括高端3D場景中的燈光、物理渲染、材質等等,這些細節信息能夠做到“能像氫原子的四分之一那樣細微”。

除了ORBX格式,OTOY還專門推出了ORBX媒體播放器,可以用於播放3D視頻。目前ORBX媒體播放器可以直接在Gear VR中的Oculus Social社交應用中使用,多個用戶可以一起在播放器上觀看3D視頻。

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

在3D領域擁有眾多研究成果的基礎上,進軍VR成了自然而然的事。2015年3月,就在Rift和Vive面世的同時,OTOY發佈了OctaneVR,專門用於渲染VR、AR和全息影像。OctaneVR的目標是幫助開發者創造能夠滿足消費者級別VR頭顯要求的優質內容,並且免費提供給商業用途的開發者。除此之外,ORBX媒體播放器也能夠實時傳輸VR內容,和WebVR相結合真正做到了VR內容的一鍵分發。

用光場技術打通與巨頭合作

最終,OTOY也開始攻堅AR/VR中的聖盃——光場。公司聯合創始人兼CEO Jules Urbach將光場技術稱為“虛擬現實發展的終極奧義”,是虛擬現實技術最終的難題。光場也吸引了眾多AR/VR企業進行大力研究,比如狂攬10億美金的Magic Leap的“光場成像”,以及燒了投資人2億美金來研究光場相機的Lytro。

OTOY對於光場的研究重心放在如何用數字來記錄所有光線在一切現實和虛擬物體上的反射,並且能夠在後期對這些數據進行渲染和傳輸。鑑於公司已經有了捕捉、渲染和流播放的生態,光場技術與這三個領域的結合讓OTOY得以牽手Unity、Facebook和HBO等遊戲、VR和影視行業的巨頭,共同探索如何呈現照片級真實的畫面。

在2015年5月,OTOY宣佈成功捕捉到一個包含光場數據的VR場景。公司在當時使用了特製的佳能單反相機和GoPro相機矩陣,並通過後期複雜的算法渲染出了具有深度信息的、可在其中移動的VR視頻。

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

而在今年的Facebook F8開發者大會上,Facebook宣佈將會和OTOY合作打造

全新的容積相機(Volumetric Camera System)系統,能夠實現容積視頻捕捉。所謂的容積視頻,是指捕捉到的視頻具有深度信息,和普通的360度全景視頻有著本質區別。

這一相機系統使用了許多技術來提取圖像中的景深信息,然後生成一個像泡泡一樣的球形空間,觀眾可以通過VR進入這個空間內,從各種不同的角度來觀看不同的風景,也就是可以在視頻中實現6DoF。這對目前的全景視頻和VR視頻來說是變革性的進步。

OTOY為此打造了一個工作流程,確保6DoF視頻從捕捉、到後期製作、到發佈都可以在雲端進行簡單的操作。在視頻被捕捉之後,可以直接上傳至雲端,生成ORBX格式的3D文件。隨後開發者可以在電腦上下載這些文件,並且使用Adobe Ae、Nuke或者Unity等25個含有Octane渲染器插件的後期製作工具來對視頻進行處理。

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

Octane 本身採用了光場渲染的方式,可以渲染高達上億道光束群。因此容積視頻中不同層次的圖像和光影也可以在後期被分離隨、調整。這相當於將CG的製作模式用於容積視頻的後期製作上,但工作流程的複雜度被大大減小。同時,由於Unity和Unreal引擎均支持Octane,因此遊戲開發者也可以將捕捉到的6DoF視頻用來製作VR遊戲。

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

最後,在光場的傳輸和壓縮上,OTOY也取得了突破性的進展。光場雖然能夠捕捉到大量細節,但同時也會造成文件過大的問題。即便是僅僅追蹤一個物體,對其收集並存儲高精度全細節的光照信息也會是相當大的數據量,而通過現有的數據傳輸方式很難實現數TB大小的視頻播放。

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

OTOY在壓縮算法上使用了類似“視網膜凹式渲染”(Foveated Rendering)的技術。OTOY的光場播放器只加載它預測用戶視角將會轉向的區域數據,大大減小了運算的數據量。目前這一技術已經可以做到對一個單物體的光場,傳輸速率達到了1.5Mb/s,在智能手機上也能夠流暢觀看。

公司的視野甚至已經擴展到AR和MR領域。在今年的GDC上,OTOY聯手Unity為ORBX媒體播放器推出了光場流播放功能,這意味著在手機上就可以直接觀看MR視頻,且從demo來看十分流暢。

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

OTOY現階段還正在和AR眼鏡製造商ODG合作,試圖將該技術移植到AR眼鏡上。ODG眼鏡上的3D相機在OTOY的LightStage技術的推動下已經可以捕捉全光照階段的影像,並且使用OMP媒體播放器來處理幀。眼鏡捕捉到的影像還能夠直接導入Unity,生成VR或者MR內容。

估值超3億美元,它會成就VR的夢想嗎

從LightStage到3D格式,到雲渲染再到光場,OTOY所押寶的每一項技術可以說都十分符合科技進步的方向,彼此之間也有著千絲萬縷的聯繫。這種聯繫使得這些技術得以相輔相成,在不斷的交互之中碰撞出更大的創新的火花。

CEO Urbach對於VR和AR則有著更為遠大的夢想——他希望OTOY可以最終實現《星際迷航》中的“全息甲板(Holodeck)”。全息甲板一直被稱為是VR的終極形態,場景隨著用戶轉頭的角度而變換,實現場景預渲染和實時渲染。OTOY一直致力於提高VR和AR視頻的渲染速度。而OTOY的Octane渲染器比傳統渲染器快10到40倍,有助於實時渲染場景和環境,同時可藉助亞馬遜網絡服務( AWS)等雲端服務器實現遠程渲染。再加上光場技術在捕捉端和渲染過程中的應用,就可以營造出難辨真假的虛擬場景。

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

OTOY前進的方向也受到了業內的認可。公司董事會成員都是業內名氣如雷貫耳的大人物,包括谷歌母公司Alphabet的執行主席Eric Schmidt、IBM前主席、首席執行官和總裁Samuel Palmisano、全球頂尖經理人公司WME/IMG的聯合CEO Ari Emanuel、以及著名經濟學家George Gilder。

公司主要股東包括全球最大的數字設計軟件公司Autodesk,曾注資Facebook的風險投資家Yuri Milner,以及最近對公司做出投資的HBO和Discovery等。據《紐約時報》報道,OTOY已融資超過1億美元,目前估值超過3億美元。

儘管相比許多科技巨頭,OTOY的規模只是小巫見大巫,但公司的技術毫無疑問推動了VR在視頻、遊戲、影視等行業的發展,這也讓OTOY得以在VR行業佔有一席之地。

2017年對於OTOY來說是重要的一年。公司除了和Facebook、Unity引擎有著更為深入的合作外,還將會在主流的VR頭顯如PSVR、HTC Vive、Oculus Rift上實現位置跟蹤的光場技術。已經走到了岔路口的VR,有望在OTOY的助推下,邁上一個新的臺階。

我們的聯繫方式:

商務合作 | 採訪 | 投稿 :文靜(微信 mutou_kiki)

交流分享 | 爆料:案山子 (微信 shimotsuki_jun)

投稿郵箱:[email protected]

讓VR變得更真實的技術,竟全部被這間公司收入囊中!|VR陀螺

相關推薦

推薦中...