李林 編譯整理
量子位 報道 | 公眾號 QbitAI
製作一部VR沉浸式電影時，AI能發揮怎樣的作用？
Facebook做出了一些嘗試，把基於對抗生成網絡(GAN)、風格遷移等方法的圖像生成和處理技術用到了電影后期中。
而且是部VR電影。
Facebook巴黎AI研究院最近和電影製作公司OKIO工作室、Saint George VFX工作室，以及導演Jérôme Blanquet合作，完成了一部新VR影片：《Alteration》。
AI研究員們和電影製作團隊合作，首先要解決一個最基本的問題：清晰地給電影製作團隊展示AI都能做什麼。這樣，電影製作團隊才能決定如何在影片中使用AI、用在哪裡。
他們嘗試了基於GAN的自動編碼器和風格遷移兩種特效方法，然後選定了風格遷移。
Facebook研究團隊在昨天發佈的博客文章中說，GAN自動編碼器了雖然在科研環境中表現良好，但是生成的特效沒有達到電影製作團隊的預期。
如果你對“風格遷移”這個詞感到陌生，看了下面這張圖，一定就明白了：
風格遷移這兩年來非常火熱，研究界不停生產著讓風格遷移更真實、更具創造性的論文和代碼，各種用風格遷移來處理圖片和視頻的App中也層出不窮。
把風格遷移用到VR電影中，面臨著兩大挑戰：
一是從技術上看，VR電影是高分辨率的360度立體圖像，這樣的圖像為風格遷移帶來了存儲和處理時間的限制，而且風格遷移在3D圖像上效果如何，也是個未知數；
二是技術團隊優化算法的依據不再是某種可量化的指標，而是導演的審美情趣。
Facebook巴黎AI研究院的技術團隊從三個方面解決來應對這種挑戰。
首先，他們選擇了17種由Julien Drevelle作品衍生出來的目標風格，要訓練一個神經網絡，用來對電影中的幀進行修改。
最初，他們訓練遷移神經網絡所用的圖像，分辨率只有128×128像素，但是當把這個神經網絡應用到VR影片上，發現所處理的圖像尺寸非常大。因此，Facebook團隊後來用768×768的圖像重新訓練了這個神經網絡。
訓練完成後，他們通過將每個目標樣式應用於單個幀來生成高分辨率測試圖像，然後調整樣式效果的強度以創建25個不同的高分辨率輸出幀。這個過程對於導演選擇何種風格非常有效，同時FAIR也能從視頻專業角度來確定一個良好的風格遷移。
以下是一些示例，可以看到風格遷移帶來的效果。
最後，必須將模型應用於某一場景的視頻幀。在每個GPU上，這些模型大約需要100GB容量的顯存，所以他們改用CPU。總共使用了550個CPU時來編碼完成所有的幀。當然，還得確保雙眼看到的立體效果是一致的。
在這部電影中，首次實現了對VR的風格遷移，這表明AI現在已經足夠成熟，可以用來作為電影人的創作工具。
影片昨天已經在Oculus的商店上架，Oculus Rift和三星GearVR都可以看：
https://www.oculus.com/experiences/rift/1514447601900695/
如果沒有VR設備，上面鏈接中還有正常版片花可看。
【完】
相關推薦
