'虞晶怡：《頭號玩家》裡的VR世界離我們有多遠？'
|虞晶怡：上海科技大學信息科學與技術學院副院長、教授
“可以想象一下，如何將一個物理世界的人，變成一個數字世界的人，而且他（她）看上去和真人是一模一樣的。”上海科技大學的虞晶怡教授，用技術讓人進一步體驗虛擬世界；他讓《頭號玩家》裡活在VR的未來，離我們更近了一大步。他是怎麼做到的？請聽他在@一刻talks《了不起的好奇心|科學俠》中的分享。
文章共3417字，閱讀需要14分鐘
|虞晶怡：上海科技大學信息科學與技術學院副院長、教授
“可以想象一下，如何將一個物理世界的人，變成一個數字世界的人，而且他（她）看上去和真人是一模一樣的。”上海科技大學的虞晶怡教授，用技術讓人進一步體驗虛擬世界；他讓《頭號玩家》裡活在VR的未來，離我們更近了一大步。他是怎麼做到的？請聽他在@一刻talks《了不起的好奇心|科學俠》中的分享。
文章共3417字，閱讀需要14分鐘
我是上海科技大學的虞晶怡，我研究的領域之一是AR和VR（虛擬現實和增強現實）。但我們用的方法和傳統的方法不一樣，我們是用計算機視覺、人工智能和計算機圖形學相結合的方法，來便捷、主動地生成AR和VR的內容。
我們所做的AR和VR是想把整個物理世界數字化。可以想象一下，如何將一個物理世界的人，變成一個數字世界的人，而且他（她）看上去和真人一模一樣的。
我研究的另外一個領域叫計算機視覺，是用計算的方法來產生讓視覺覺得“非常美”的感受。
這種美，體現在多個角度。三維的幾何是一種美，三維物體的材質也是一種美。從計算的角度來看，如何能夠非常有效地復現三維的幾何和三維的材質，是一個非常困難的數學問題。
|虞晶怡：上海科技大學信息科學與技術學院副院長、教授
“可以想象一下，如何將一個物理世界的人，變成一個數字世界的人，而且他（她）看上去和真人是一模一樣的。”上海科技大學的虞晶怡教授，用技術讓人進一步體驗虛擬世界；他讓《頭號玩家》裡活在VR的未來，離我們更近了一大步。他是怎麼做到的？請聽他在@一刻talks《了不起的好奇心|科學俠》中的分享。
文章共3417字，閱讀需要14分鐘
我是上海科技大學的虞晶怡，我研究的領域之一是AR和VR（虛擬現實和增強現實）。但我們用的方法和傳統的方法不一樣，我們是用計算機視覺、人工智能和計算機圖形學相結合的方法，來便捷、主動地生成AR和VR的內容。
我們所做的AR和VR是想把整個物理世界數字化。可以想象一下，如何將一個物理世界的人，變成一個數字世界的人，而且他（她）看上去和真人一模一樣的。
我研究的另外一個領域叫計算機視覺，是用計算的方法來產生讓視覺覺得“非常美”的感受。
這種美，體現在多個角度。三維的幾何是一種美，三維物體的材質也是一種美。從計算的角度來看，如何能夠非常有效地復現三維的幾何和三維的材質，是一個非常困難的數學問題。
經過過去二十年的技術積累，現在有包括深度學習在內的很多新的技術和算法能夠非常有效地把物體三維化。這個三維化不僅可以通過幾何計算，也可以通過計算機的機器學習學出來。這都要感謝過去二十年新技術的突飛猛進。
從材質的角度來看，現在可以提出一種基於數據的模型。傳統的美是通過一個完整的數學公式來表示這是一個什麼樣的材質，所以它是美的。但實際生活中，人並沒有這樣一個完美的數學公式，而是通過各個角度去觀看一個物體，說它是很美的，這是一個數據驅動的模型。現在我們整個領域都逐步從數學建模，慢慢地過渡到用數據驅動的一個模型，來形容什麼是美。
為什麼要研究AR/VR
我在上海交大上過計算機圖形學的課。當時教我們的老師非常有名，是俞勇老師。俞勇老師現在帶了幾乎中國最優秀的ACM（美國計算機學會）班的學生。當時我們還沒有ACM班，俞勇老師就是給我們上了圖形學的課。
上了這門課後，我對圖像就產生了濃厚的興趣，後來我就決定要做圖像這個領域。去了加州理工後，我就開始做些小嚐試。我當時創辦了人生中的第一個公司QuickTime VR，雖然不是很成功。我們當時就是用照相機來拍全景，然後拼接成360度。這就是現在大家很熟悉的手機全景拍照功能。
但當時VR技術有很多問題，而這些問題也導致了2016年VR的泡沫。現在很多初創公司號稱拼一個360度全景就是VR，其實完全不是。早在1999年，我們做了這個事情之後，就發現它給人的觀感很差，因為既沒有三維的視覺，也沒有像人眼一樣的動態對焦，更沒有沉浸式的走入。這種VR方式的觀感不高，就造成了2016年的VR繁榮只是曇花一現。
AR與VR的起源於現狀
現在AI（人工智能）非常熱， 其實人工智能的歷史已經超過了60年。在1956年達特茅斯會議的時候，先驅們就提出了：要把人工智能的解決分為三塊。這三塊分別是感知（Sensing）、認知（Cognition）、行為（Action），它們分別表述了：怎麼能認識到三維世界、怎麼去分析三維世界、怎麼去改變三維世界。
|虞晶怡：上海科技大學信息科學與技術學院副院長、教授
“可以想象一下，如何將一個物理世界的人，變成一個數字世界的人，而且他（她）看上去和真人是一模一樣的。”上海科技大學的虞晶怡教授，用技術讓人進一步體驗虛擬世界；他讓《頭號玩家》裡活在VR的未來，離我們更近了一大步。他是怎麼做到的？請聽他在@一刻talks《了不起的好奇心|科學俠》中的分享。
文章共3417字，閱讀需要14分鐘
我是上海科技大學的虞晶怡，我研究的領域之一是AR和VR（虛擬現實和增強現實）。但我們用的方法和傳統的方法不一樣，我們是用計算機視覺、人工智能和計算機圖形學相結合的方法，來便捷、主動地生成AR和VR的內容。
我們所做的AR和VR是想把整個物理世界數字化。可以想象一下，如何將一個物理世界的人，變成一個數字世界的人，而且他（她）看上去和真人一模一樣的。
我研究的另外一個領域叫計算機視覺，是用計算的方法來產生讓視覺覺得“非常美”的感受。
這種美，體現在多個角度。三維的幾何是一種美，三維物體的材質也是一種美。從計算的角度來看，如何能夠非常有效地復現三維的幾何和三維的材質，是一個非常困難的數學問題。
經過過去二十年的技術積累，現在有包括深度學習在內的很多新的技術和算法能夠非常有效地把物體三維化。這個三維化不僅可以通過幾何計算，也可以通過計算機的機器學習學出來。這都要感謝過去二十年新技術的突飛猛進。
從材質的角度來看，現在可以提出一種基於數據的模型。傳統的美是通過一個完整的數學公式來表示這是一個什麼樣的材質，所以它是美的。但實際生活中，人並沒有這樣一個完美的數學公式，而是通過各個角度去觀看一個物體，說它是很美的，這是一個數據驅動的模型。現在我們整個領域都逐步從數學建模，慢慢地過渡到用數據驅動的一個模型，來形容什麼是美。
為什麼要研究AR/VR
我在上海交大上過計算機圖形學的課。當時教我們的老師非常有名，是俞勇老師。俞勇老師現在帶了幾乎中國最優秀的ACM（美國計算機學會）班的學生。當時我們還沒有ACM班，俞勇老師就是給我們上了圖形學的課。
上了這門課後，我對圖像就產生了濃厚的興趣，後來我就決定要做圖像這個領域。去了加州理工後，我就開始做些小嚐試。我當時創辦了人生中的第一個公司QuickTime VR，雖然不是很成功。我們當時就是用照相機來拍全景，然後拼接成360度。這就是現在大家很熟悉的手機全景拍照功能。
但當時VR技術有很多問題，而這些問題也導致了2016年VR的泡沫。現在很多初創公司號稱拼一個360度全景就是VR，其實完全不是。早在1999年，我們做了這個事情之後，就發現它給人的觀感很差，因為既沒有三維的視覺，也沒有像人眼一樣的動態對焦，更沒有沉浸式的走入。這種VR方式的觀感不高，就造成了2016年的VR繁榮只是曇花一現。
AR與VR的起源於現狀
現在AI（人工智能）非常熱， 其實人工智能的歷史已經超過了60年。在1956年達特茅斯會議的時候，先驅們就提出了：要把人工智能的解決分為三塊。這三塊分別是感知（Sensing）、認知（Cognition）、行為（Action），它們分別表述了：怎麼能認識到三維世界、怎麼去分析三維世界、怎麼去改變三維世界。
這三塊奠定了計算機視覺的核心基礎。感知就是新一代的傳感器，認知就是新一代的算法（包括深度學習在內），行為是展現的方式（比如機器人、投影、其他表現的方式等等）。在過去的五到十年內，特別是過去五年內，由於深度學習的高速發展，數據驅動把這三塊第一次真正地融合在了一起。從感知的數據，到大數據產生以後高速、高效的分析方法——認知，到最後把數據呈現出來的行為，不管是機器人，還是新一代AR和VR的展現方式，都能無瑕疵地串聯在一起。所以這是一個新的時代。
AR、VR研究的意義與成果
用一個詞來形容，就是互聯connect。怎麼來互聯呢？打個比方，在邊遠的山區，沒有很好的教育資源，也沒有好的師資，如果能夠通過虛擬現實和增強現實的技術，把城市優秀教師上課的整個過程數字化，再用未來的5G網絡實時傳輸到遠端，學生們就可以身臨其境地享受到同樣高品質的教育。
我覺得創新和突破對我來說，最重要的詞就是勇氣（Courage）。因為創新和突破本身非常困難的。首先你要有面對失敗的勇氣，創新是一定會有失敗的，不可能一蹴而就。那麼面對失敗，怎樣有勇氣再進行新的嘗試，這是第一點。
第二，就是你要有勇氣變得不同，be different。不可能每個人都做同樣的東西，做相同的東西是一定是不會有創新的，必須有所突破。我們現在做的技術，叫基於光場的人工智能和基於光場的AR和VR。但光場的概念，早在1996年的時候就被提出了。
所謂光場，就是要把三維世界所有的光線全都採集下來，這些數據是海量的，因此當時這樣一個概念是無法推進的，所以很多人都放棄光場這個項目了。但我和我的團隊在過去的20年一直都在做光場。
前幾年，美國有一個公司叫Magic Leap（可能是全球估值最高的一個AR/VR初創公司），就是做光場的顯示技術，並開發了一個光場的頭盔。
儘管這個領域非常困難，但我們從來沒有放棄過，所以我剛才說，要有勇氣，也要與眾不同。
第三，要有勇氣去尊重。在創新的過程中，必然有競爭對手。面對競爭對手，不要看低他(她)，必須要尊重你的競爭對手。你要看到對方在做的這些技術有什麼強項，有哪些地方是你做得不好的，再融合在一起，這就是一種尊重。
我們做光場快20年了。第一代光場，是用一個很笨重的相機陣列搭成的。這是2000年我剛開始讀研究生時，在MIT和一個龐大的團隊一起搭起來的。但是要把這個非常笨重的系統縮小化，變成拍一張照片就能形成這樣的一個光場，這是一個非常困難的事情。
它不僅涉及到光學系統的設計，還包括最後整個運算的速度和新算法的合成，當中有很多艱辛。在過去的二十年裡，我和我帶的研究生們都沒有放棄。過去十年，有十四名我指導的研究生畢業，今年我在上科大指導的第一位博士也將畢業。
在非常困難的情況下，他們跟我一樣都沒有放棄。我們研究的問題本身很難，能夠得到的幫助和資源也不是很多。這樣的情況下，最後在上海科技大學終於有所突破，搭建了自己的光場成像系統、光場處理方法、基於深度學習的光場AR和VR的完整的系統，可以說是全球相當領先的技術，我覺得這是讓我非常驕傲的一件事。
|虞晶怡：上海科技大學信息科學與技術學院副院長、教授
“可以想象一下，如何將一個物理世界的人，變成一個數字世界的人，而且他（她）看上去和真人是一模一樣的。”上海科技大學的虞晶怡教授，用技術讓人進一步體驗虛擬世界；他讓《頭號玩家》裡活在VR的未來，離我們更近了一大步。他是怎麼做到的？請聽他在@一刻talks《了不起的好奇心|科學俠》中的分享。
文章共3417字，閱讀需要14分鐘
我是上海科技大學的虞晶怡，我研究的領域之一是AR和VR（虛擬現實和增強現實）。但我們用的方法和傳統的方法不一樣，我們是用計算機視覺、人工智能和計算機圖形學相結合的方法，來便捷、主動地生成AR和VR的內容。
我們所做的AR和VR是想把整個物理世界數字化。可以想象一下，如何將一個物理世界的人，變成一個數字世界的人，而且他（她）看上去和真人一模一樣的。
我研究的另外一個領域叫計算機視覺，是用計算的方法來產生讓視覺覺得“非常美”的感受。
這種美，體現在多個角度。三維的幾何是一種美，三維物體的材質也是一種美。從計算的角度來看，如何能夠非常有效地復現三維的幾何和三維的材質，是一個非常困難的數學問題。
經過過去二十年的技術積累，現在有包括深度學習在內的很多新的技術和算法能夠非常有效地把物體三維化。這個三維化不僅可以通過幾何計算，也可以通過計算機的機器學習學出來。這都要感謝過去二十年新技術的突飛猛進。
從材質的角度來看，現在可以提出一種基於數據的模型。傳統的美是通過一個完整的數學公式來表示這是一個什麼樣的材質，所以它是美的。但實際生活中，人並沒有這樣一個完美的數學公式，而是通過各個角度去觀看一個物體，說它是很美的，這是一個數據驅動的模型。現在我們整個領域都逐步從數學建模，慢慢地過渡到用數據驅動的一個模型，來形容什麼是美。
為什麼要研究AR/VR
我在上海交大上過計算機圖形學的課。當時教我們的老師非常有名，是俞勇老師。俞勇老師現在帶了幾乎中國最優秀的ACM（美國計算機學會）班的學生。當時我們還沒有ACM班，俞勇老師就是給我們上了圖形學的課。
上了這門課後，我對圖像就產生了濃厚的興趣，後來我就決定要做圖像這個領域。去了加州理工後，我就開始做些小嚐試。我當時創辦了人生中的第一個公司QuickTime VR，雖然不是很成功。我們當時就是用照相機來拍全景，然後拼接成360度。這就是現在大家很熟悉的手機全景拍照功能。
但當時VR技術有很多問題，而這些問題也導致了2016年VR的泡沫。現在很多初創公司號稱拼一個360度全景就是VR，其實完全不是。早在1999年，我們做了這個事情之後，就發現它給人的觀感很差，因為既沒有三維的視覺，也沒有像人眼一樣的動態對焦，更沒有沉浸式的走入。這種VR方式的觀感不高，就造成了2016年的VR繁榮只是曇花一現。
AR與VR的起源於現狀
現在AI（人工智能）非常熱， 其實人工智能的歷史已經超過了60年。在1956年達特茅斯會議的時候，先驅們就提出了：要把人工智能的解決分為三塊。這三塊分別是感知（Sensing）、認知（Cognition）、行為（Action），它們分別表述了：怎麼能認識到三維世界、怎麼去分析三維世界、怎麼去改變三維世界。
這三塊奠定了計算機視覺的核心基礎。感知就是新一代的傳感器，認知就是新一代的算法（包括深度學習在內），行為是展現的方式（比如機器人、投影、其他表現的方式等等）。在過去的五到十年內，特別是過去五年內，由於深度學習的高速發展，數據驅動把這三塊第一次真正地融合在了一起。從感知的數據，到大數據產生以後高速、高效的分析方法——認知，到最後把數據呈現出來的行為，不管是機器人，還是新一代AR和VR的展現方式，都能無瑕疵地串聯在一起。所以這是一個新的時代。
AR、VR研究的意義與成果
用一個詞來形容，就是互聯connect。怎麼來互聯呢？打個比方，在邊遠的山區，沒有很好的教育資源，也沒有好的師資，如果能夠通過虛擬現實和增強現實的技術，把城市優秀教師上課的整個過程數字化，再用未來的5G網絡實時傳輸到遠端，學生們就可以身臨其境地享受到同樣高品質的教育。
我覺得創新和突破對我來說，最重要的詞就是勇氣（Courage）。因為創新和突破本身非常困難的。首先你要有面對失敗的勇氣，創新是一定會有失敗的，不可能一蹴而就。那麼面對失敗，怎樣有勇氣再進行新的嘗試，這是第一點。
第二，就是你要有勇氣變得不同，be different。不可能每個人都做同樣的東西，做相同的東西是一定是不會有創新的，必須有所突破。我們現在做的技術，叫基於光場的人工智能和基於光場的AR和VR。但光場的概念，早在1996年的時候就被提出了。
所謂光場，就是要把三維世界所有的光線全都採集下來，這些數據是海量的，因此當時這樣一個概念是無法推進的，所以很多人都放棄光場這個項目了。但我和我的團隊在過去的20年一直都在做光場。
前幾年，美國有一個公司叫Magic Leap（可能是全球估值最高的一個AR/VR初創公司），就是做光場的顯示技術，並開發了一個光場的頭盔。
儘管這個領域非常困難，但我們從來沒有放棄過，所以我剛才說，要有勇氣，也要與眾不同。
第三，要有勇氣去尊重。在創新的過程中，必然有競爭對手。面對競爭對手，不要看低他(她)，必須要尊重你的競爭對手。你要看到對方在做的這些技術有什麼強項，有哪些地方是你做得不好的，再融合在一起，這就是一種尊重。
我們做光場快20年了。第一代光場，是用一個很笨重的相機陣列搭成的。這是2000年我剛開始讀研究生時，在MIT和一個龐大的團隊一起搭起來的。但是要把這個非常笨重的系統縮小化，變成拍一張照片就能形成這樣的一個光場，這是一個非常困難的事情。
它不僅涉及到光學系統的設計，還包括最後整個運算的速度和新算法的合成，當中有很多艱辛。在過去的二十年裡，我和我帶的研究生們都沒有放棄。過去十年，有十四名我指導的研究生畢業，今年我在上科大指導的第一位博士也將畢業。
在非常困難的情況下，他們跟我一樣都沒有放棄。我們研究的問題本身很難，能夠得到的幫助和資源也不是很多。這樣的情況下，最後在上海科技大學終於有所突破，搭建了自己的光場成像系統、光場處理方法、基於深度學習的光場AR和VR的完整的系統，可以說是全球相當領先的技術，我覺得這是讓我非常驕傲的一件事。
那是一箇中國少數幾套，用80個動態相機進行光線採集的系統，用計算機視覺的方法進行三維重建。同時它不但把三維進行重建，也把材質和所有的光線都採集並且重建了。所以它又能採集幾何，又能採集表面的材質。這套80個相機的光場系統，在過去一年內就搭建了出來。
我們現在正在搭一個亞洲唯一的光場系統（Light field stage），整個設計非常前衛，仿造火星的營地做的。在那裡我們正在搭建一個230個相機、1600個光源的光場系統。它不但擁有多相機系統，另外還要加1600個光源，這個目的不單單是把人物簡單地數字化，讓你看著還可以，還可以產生像電影級別的特效效果。
這套系統到目前為止，全球只有兩個地方有，一套在洛杉磯的好萊塢，另外一套在愛丁堡。我們將搭建亞洲唯一一套的這樣的光場系統，希望今後很多的電影特效都有我們的身影。
傳統的AR、VR的內容，都是靠計算機生成的，叫CG模型，Computer Graphics，像卡通一樣。在那裡建一個模型，建完以後，去調材質、打光、渲染。實時渲染的話，你模型不可能很複雜，材質也不可能很複雜，否則沒有辦法實時渲染。
光場就是索性不要建模和渲染，直接把它拍下來。比如一個人或者一個物品，通過多個視角對這個人或物品進行拍攝，拍攝後直接利用這些數據。因為拍出來的和眼睛看到的一樣真實，只是拍的過程是不連續的，你不可能拍得很連續，所以通過這樣一個拍攝的過程，再加後期的數學模型，深度學習的模型也好，三維建模也好，計算機視覺也好，把它融合在一起，產生讓你眼睛覺得“我就在看的是一個真實的環境（或物體和人）”，這就是光場的核心技術。它之所以能夠超越傳統方法，因為它本身就基於在三維世界拍攝的結果。
AR、VR的未來
其實信息科學，不再是一個單獨的學科。信息科學必須要和別的學科相融合，而別的學科也必須依賴於信息科學的融合，才能夠大幅度地進步。
今後三到五年，我想做的是學科的交叉融合。原來大家說No one is an island，沒有人是一座孤島。現在應該說，沒有一個學科是一座孤島。所以今後的科技，一定是交叉融合的科技，這也是我們希望在未來幾年內一起做的。
在任何一個時代，科技本身的發展必然會帶來很多疑問。想象一下，在200年以前，如果你看到現在的人開著車，你會有怎樣的感受？是不是有很多倫理的問題在裡面？200年以前，再回過頭來看，電視裡面大家在看著我這個節目，又是怎樣一個感受？
我始終認為科技本身並不可怕。我覺得可怕的是，人不去思考科技會帶來怎樣的後果。人類已經生存了2000年，是能夠適應新的科技的生成。所以我對於人還是比較有信心的。
那些《黑鏡》裡面講到的科技，我想它一定會實現的。但我覺得人會用一種新的方式，去適應它、認識它、去感受它，甚至於利用它，來改變這個世界，把這個世界變得更好。