圓栗子 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
這是風和日麗的一天，有位黑衣男子照常開始了網球訓練。
(請忽略這是卡塔爾公開賽上的費德勒。)
突然之間，球場變成了遊戲，他也成了主人公 (如下圖) 。
不自由地奔跑，不自主地揮舞球拍，一切聽從玩家控制。左下角矚目：
一切發生得太快，男主還沒來得及反應，就莫名地開始穿越。出現在了其他的球場，還認識了新隊友：
當局者迷，就算手腳不聽使喚，也很難想到自己被人“玩”了吧。
玩家是來自Facebook的一小撮研究人員。
他們開發的Vid2Game算法，直接把視頻主角，變成可以控制的遊戲人物；也能隨意變換遊戲場景，毫不違和。
另外，這個算法可以實時運行。只要手邊有個視頻，就能直接控制裡面的人類，無需等待：
△ 實時Demo
今後，你的遊戲會變得很熱鬧吧。如果把自己變成主角，你想要誰來演NPC？
除此之外，鬼畜圈大概也不會毫無波瀾 (誤) 。
△ 來自B站阿婆：橙某
好的，不要再多想了。書歸正傳，視頻變遊戲，到底經歷了什麼？
合二為一
首先，姿態估計自然是必須的。但在那之後呢……
Facebook團隊說，算法包含了兩個神經網絡。
第一個叫Pose2Pose。它會根據當前的姿勢，以及一個 (可能來自手柄的) 控制信號，生成下一幀的姿勢。
它的生成器長這樣：
當然，生成姿勢並不是全部，人類要在各種背景裡完美地移動，不要PS痕跡。
所以，還有第二並行的網絡叫Pose2Frame。
一頓渲染，把移動的人類和背景融為一體，就能輸出正式的一幀畫面了。
具體來說，要根據Pose2Pose生成的那些姿勢，恢復出人類各個角度的完整模樣 (下圖：右下) 。
然後生成蒙版，就是左下的效果。
有了蒙版，再把人類混合到給定的背景裡去，就完成了。
團隊測試了一下，Vid2Game的合成效果，比前輩Vid2Vid更優質：
如果你沒看出有什麼分別：
在前輩生成的畫面裡，妹子的舞動破壞了背景的安寧，窗戶的輪廓變得有些凌亂。而Vid2Game的作品，窗戶依然是那個窗戶。
如果你覺得，跳舞的妹子並沒有打開新世界的大門。那麼：
One More Thing
這裡有一位優雅的擊劍選手，在安靜地練習。
對面是白牆的話，多少有些寂寞。
所以，給它一個優秀的遊戲對手吧。
有了對手，動作都變快了：
你會不會也想試試屠龍的感覺？
論文傳送門：
https://arxiv.org/pdf/1904.08379.pdf
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回覆“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
相關推薦
