神經網絡研究新進展:可將平面圖像轉製為高精度3D模型

伯克利人工智能研究院的一支團隊,剛剛詳細介紹了一項將平面圖像轉製為 3D 模型的新技術。雖然聽起來並不新鮮,但最新進展已能通過單張圖產出極高分辨率的 3D 模型。隨著後續研究與進步,其有望將任何一張圖片,轉製為細節豐富和超級實用的三維模型。研究人員解釋到:通常情況下,3D 重建需要用到卷積神經網絡(簡稱 CNN)來預測任意給定對象在三維空間中的形狀,因此需要通過 CAD 模型對神經網絡進行訓練。

神經網絡研究新進展:可將平面圖像轉製為高精度3D模型

神經網絡可以學習各種類型的對象,但由於預測量方面的侷限性,其通常輸出得相當粗糙。於是研究人員們從低分辨率模型開始著手,借之產出更高分辨率的模型,但其最初還是源於一張平面圖像。

神經網絡研究新進展:可將平面圖像轉製為高精度3D模型

論文中寫到:“我們利用了對象表面的二維本質,從低分辨率中預判一個表面,然後分層預測高分辨率”。該團隊將他們的方法稱作‘分層表面預測’(簡稱 HSP),從預測一個給定物體的低分辨率體積像素(voxels)開始這個流程。

神經網絡研究新進展:可將平面圖像轉製為高精度3D模型

分層表面預測(HSP)偏離了傳統的卷積神經網絡(CNN)方法,基於自由空間、邊界、以及佔用空間 3 個方面對每個立體像素進行分類。如此這般,系統就能夠預測更高分辨率的元素,最終產出高分辨率的體積像素網格。

神經網絡研究新進展:可將平面圖像轉製為高精度3D模型

上圖所示的圖像,展示了該 3D 模型生成和細化分析過程。比如從一架飛機的平面圖像開始,將之逐漸精煉到一個更加詳細的成品。

神經網絡研究新進展:可將平面圖像轉製為高精度3D模型

最終我們看到的,不僅僅是一個基本的三維飛機形狀,而是連引擎和機翼都能清晰呈現出來。

[編譯自:SlashGear, 來源:Berkeley]

相關推薦

推薦中...