AI 在未來幾年可能顛覆整個遊戲產業製作流程。
傳統遊戲製作往往需要經過原畫設定、3D 場景搭建、特效設計、3D 角色構建等多個環節完成，而在未來，這些工作都有望交給 AI 來做。
近日，Facebook AI 研究團隊描述了一個能夠從現實世界視頻中提取可控角色的系統。利用該系統，可以從日常視頻中隨意創建虛擬人物及各種姿勢動作。
三位 AI 研究人員創建的這種新方法（Vid2Game: Controllable Characters Extracted from Real-World Videos），可以將一個視頻中的真人轉換成一個 3D 遊戲角色，並且可以將此角色及其相關動作轉換到新背景上。研究人員稱，生成的角色可以和不同的背景互動。
據介紹，這套 AI 系統主要依賴於兩個神經網絡。一個是由 Pose2Pose（P2P）網絡基於控制信號的輸入流（例如來自操縱桿或遊戲手柄的控制信號）以自動迴歸方式操縱給定姿勢。另一個是 Pose2Frame（P2F），在隨後給定背景圖像的情況下生成高分辨率視頻幀。它們通過“學習”視頻中的人物身體形狀、運動風格及其他特徵，以此來建立遊戲角色。系統最終生成的視頻具有高度的個性化和逼真性，可大大提升玩家的遊戲體驗。
“我們的模型可以從視頻中提取一個角色，並能控制它的動作。”該論文的共同作者在文章中解釋道，“模型能有效地捕捉到人的動態和外觀，生成角色的圖像序列，生成的視頻可以具有任意背景”。研究人員稱該系統具有足夠強的魯棒性，可在動態背景下任意定位提取人物特徵。
首先，需要將包含一個或多個人物特徵的視頻輸入到針對特定域（例如，跳舞）訓練的 Pose2Pose 網絡，將其運動狀態和自身隔離，用於確定哪些背景區域可以被合成圖像所替換。隨後 Pose2Frame 網絡運用這些組合的運動姿勢數據，區分場景中與角色相關的變化，如陰影、反射以及角色的獨立特徵。最後與預先設計好的背景混合輸出。
在實驗部分，研究人員採集了三段視頻，每段視頻長度為五到八分鐘，視頻的主角分別是一個戶外網球運動員，一個在室內舞劍的人，和一個正在走路的人。之後與一個用三分鐘跳舞視頻訓練的神經網絡相比，該實驗結果對人物動態元素的捕捉更為成功。（排除角色服裝和鏡頭角度的變化）。
該技術投入使用後，人們將有機會成為遊戲中人物的化身，自定義遊戲角色，並賦予角色獨有的動作形態。這項基於 AI 技術的角色生成系統可能會催生更多不同類型的遊戲，逼真且個性化可能是未來遊戲行業發展的一個方向。