曉查 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
谷歌給TensorFlow加入了計算機圖形處理功能TensorFlow Graphics，讓神經網絡可以更好地理解計算機世界裡的圖形操作。
計算機圖形（Computer Graphics）和計算機視覺（Computer Vision）是一對孿生兄弟，二者互為逆過程。
計算機圖形是預先知道3D物體的形狀、位置、材料構成，以及場景的燈光和相機，然後渲染出場景。
計算機視覺是已知拍到的圖像，從中推斷出有哪些物體，它們由什麼材料製成，以及它們的3D位置和方向。
圖像識別自然不必多說。在TensorFlow Graphics，圖像渲染包括對圖形進行旋轉、縮放、光影、3D網格等操作。
旋轉
旋轉在與一些機器人任務中非常重要，比如，用機械臂抓住物體需要精確估計這些物體相對於臂的位置。
縮放
縮放計算機視覺中起著重要作用，因為它會極大地影響投影到平面上的三維物體的外觀。
光影材質
材質模型定義光與對象的交互方式，展現這種材料獨特的外觀。在某些虛擬環境中，可以預測某些物體的真實外觀。
幾何形狀
從手機深度傳感器到自動駕駛汽車激光雷達，近年來3D傳感器越來越多。它們以網格或者點雲的方式輸出3D數據。
由於它們的不規則結構，與提供規則網格結構的圖像相比，這些表示上的卷積很難實現。TensorFlow Graphics有兩個3D卷積層和一個3D池化層，允許網絡在網格上執行語義部分分類的訓練。
為何要推出TensorFlow Graphics
近幾年，在神經網絡架構中插入可微圖形層的情況越來越多。尤其是空間變換網絡，這是2015年DeepMind在NIPS上發表的論文《Spatial Transformer Networks》。
這篇文章提出神經網絡應當具有所謂“空間不變性”，即無論平移、旋轉、縮放，都能夠正確地識別和處理圖像，但CNN在這方面的能力是欠缺的。
在神經網絡中插入這些可微圖形層，可以來構建新的、更高效的網絡架構。將幾何和約束建模到神經網絡中，可以通過自我監督的方式進行穩健、高效的訓練。
另外，訓練3D視覺任務的機器學習系統通常需要大量數據，需要設計機器學習模型，在沒有太多監督的情況下進行訓練，給網絡加入計算機圖形渲染的能力，能幫AI更好地理解3D世界。
安裝使用
TensorFlow Graphics要求使用TensorFlow 1.13.1或更高版本。谷歌提供了CPU和GPU兩個版本：
pip install --upgrade tensorflow-graphics
# CPU版本
pip install --upgrade tensorflow-graphics-gpu
# GPU版本
為了讓用戶能夠進行可視化調試，TensorFlow Graphics還附帶了一個TensorBoard插件，交互式地顯示3D網格和點雲。
更多的實際效果可以去項目頁提供的幾個Colab筆記本中體驗。比如前面提到的光影材質渲染：
傳送門
官方介紹：
https://medium.com/tensorflow/introducing-tensorflow-graphics-computer-graphics-meets-deep-learning-c8e3877b7668
項目頁：
https://github.com/tensorflow/graphics
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回覆“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態