選自venturebeat
作者：MARIYA YAO, TOPBOTS
機器之心編譯
參與：蔣思源、李亞洲、韓小西
邀請函
全國千所高校大數據師資免費講習班【搭建通向大數據專業的。報名人數限1500人，先到先得】不容錯過的原因：➀.豪華講師陣容：清華大學博士劉鵬教授領銜的科技創新團隊；➁.重點講習《大數據》教材（中國計算機圖書被引用量第一的《雲計算》姊妹篇）；➂.業界大咖對大數據應用的頂級分享；➃.《大數據》《大數據實驗手冊》限量送。點擊“閱讀原文”報名。
深度學習較其他機器學習方法在各類任務中都表現優異，各個機構或院校也花了巨大的精力和時間投入到深度學習，並取得了令人驚歎的成就。但深度學習近來也暴露出其內在缺陷，很多學界領軍人物都在積極探討解決辦法和替代方案。因此本文力圖闡述深度學習的侷限性，引發更多對深度學習的思考。
人工智能已經達到了炒作的頂峰。新聞報告稱有的公司已經使用 IBM Watson 取代了工人、算法在診斷上擊敗了職業醫生。每天都會有新的人工智能創業公司出現，宣稱能使用機器學習取代你的私人和商業難題。
榨汁機、Wi-Fi 路由器這樣普通的物品也忽然宣稱是「由人工智能驅動」。智能的站立式桌子不僅能記住你調節的高度，也能為你點餐。
許多有關人工智能的喧譁都由那些從未訓練過神經網絡的記者，創業公司或者從未真正解決過商業難題卻想要被高價聘請的編程人才所發出的。所以，有關人工智能的能力與限制，難免有如此多的誤解。
深度學習無疑使人興奮
神經網絡創造於上世紀 60 年代，但近年來大數據和計算能力的增加使得它們在實際上變得有用。於是，一種名為「深度學習」的新的學科出現，它能使用複雜的神經網絡架構以前所未有的準確率建模數據中的模式。
結果無疑使人驚訝。計算機如今能比人類更好地識別圖像和視頻中的物體以及將語音轉錄為文本。谷歌就用神經網絡取代了谷歌翻譯的架構，如今機器翻譯的水平已經很接近人類了。
深度學習在實際應用中也令人興奮。計算機能夠比 USDA 更好的預測農作物產量，比醫師更準確的診斷癌症。DARPA 的主任 John Launchbury 曾這樣描述人工智能的三個浪潮：
像 IBM 的深藍或 Watson 這樣的人工編碼知識或專家系統；
統計學習，包括機器學習與深度學習；
環境自適應，涉及到使用稀疏數據為真實的世界現象構建可靠的、可解釋的模型，就像人類一樣。
作為目前人工智能浪潮的第二波，深度學習算法因為 Launchbury 所說的「流形假設（manifold hypothesis）」（見下圖）而更加有效。簡單解釋，它指代不同類型的高維自然數據如何聚成一塊，並在低維可視化中有不同的形狀。
通過數學運算並分割數據塊，深度神經網絡能區分不同的數據類型。雖然神經網絡能夠取得精妙的分類與預測能力，它們基本上還是 Launchbury 所說的「spreadsheets on steroids」。
深度學習也有深度難題
在最近的 AI By The Bay 大會上，Francois Chollet 強調深度學習是比以前的統計學和機器學習方法更為強大的模式識別方法。「人工智能如今最重要的問題是抽象和推理，」Google 的人工智能研究員 Chollet 解釋到，他是著名的深層學習庫 Keras 的構建者。他說：「目前的監督感知和強化學習算法需要大量的數據，在長遠規劃中是很難實現的，這些算法只能做簡單的模式識別。」
相比之下，人類「從很少的案例中學習，可以進行長遠規劃，他們能夠形成一種情境的抽象模型，並 [操縱] 這些模型實現極致的泛化。
即使是簡單的人類行為，也很難教授給深度學習算法。例如我們需要學習在路上避免被汽車撞上，如果使用監督學習，那就需要巨量的汽車情境數據集，且明確標註了動作（如「停止」或「移動」），然後你需要訓練一個神經網絡來學習映射不同的情況和對應的行動。
如果採用強化學習，那你需要給算法一個目標，讓它獨立地確定理想的行動。為學習到在不同情況下躲避汽車，計算機可能需要先被撞上千次。Chollet 警告說：「僅僅通過擴大今天的深度學習技術，我們無法實現通用智能。
躲避汽車，人類只需要告知一次就行。我們具有從簡單少量的例子中概括出事物的能力，並且能夠想象（即模擬）操作的後果。我們不需要失去生命或肢體，就能很快學會避免被車撞上。
雖然神經網絡在大樣本量上達到統計學上令人驚訝成果，但它們「對個例不可靠」，並且經常會導致人類永遠不會出現的錯誤，如將牙刷分類為棒球棒。
結果與數據一樣好。輸入不準確或不完整數據的神經網絡將產生錯誤的結果，輸出結果可能既尷尬又有害。在兩個最出名的缺陷中，Google 圖像錯誤地將非洲裔美國人分類為大猩猩，而微軟的 Tay 在 Twitter 上學習了幾個小時後，就出現了種族主義以及歧視女性的言論。
我們的輸入數據中隱含有不期望的偏差。Google 的大規模 Word2Vec 嵌入是在 Google 新聞的 300 萬字基礎上建立的。數據集中含有諸如「男性成為醫生，女性成為護士」這樣的性別偏見關聯。研究人員，如波士頓大學的 Tolga Bolukbasi，已經採取了在 Mechanical Turk 上進行人類評級的方式執行「hard de-biasing」來撤銷這種關聯。
這樣的策略是至關重要的，因為根據 Bolukbasi 的說法，「詞嵌入不僅反映了刻板印象，同時還會擴大它們」。如果「醫生」代表的男性比女性更多，那麼算法可能在開放醫師職位上將男性求職者定義優先於女性求職者。
最後，生成對抗網絡（GAN）的提出者 Ian Goodfellow 表明，神經網絡可能被對抗性樣本故意地欺騙。通過人眼不可見的方式在數學上處理圖像，複雜的攻擊者可以欺騙神經網絡產生嚴重錯誤的分類。
深度學習之外是什麼？
我們如何克服深度學習的侷限性，並朝著通用人工智能邁進？Chollet 初步的計劃包括使用「超級人類模式識別（如深度學習）增強顯式搜索和正式系統」，並且他準備從數學證明的角度開始。自動定理證明（ATP）通常使用 brute force 算法進行搜索，而這很快就會導致在實際使用中的組合暴漲。在 DeepMath 項目中，Chollet 和他的同事們使用深度學習輔助證明搜索過程，他們模擬數學家的直覺，即使用哪一類引理（證明中的輔助或中間定理）證明可能是對的。
另一種方法是開發更加可解釋性的模型。在手寫字體識別中，神經網絡目前需要對幾萬到幾十萬個樣本進行訓練才能得出較為優良的分類。然而，DARPA 的 Launchbury 並不僅僅關注像素，他解釋道生成模型能學習在任何給定字符後面的筆畫，並能使用這種物理結構信息來消除類似數字間的歧義，如 9 或 4。
卷積神經網絡（CNN）的推動者，Facebook 的人工智能研究主管 Yann LeCun 提出了「基於能量的模型（energy-based models）」，該模型是克服深度學習限制的一種方法。通常，訓練神經網絡以得出單個輸出，如照片分類標籤或翻譯的句子。而 LeCun 的基於能量模型（energy-based models）反而給出一整組可能的輸出，如句子所有可能的翻譯方式和每個配置的分數。
深度學習的推動者 Geoffrey Hinton 希望使用「capsules」代替神經網絡中的神經元，他相信其能更準確地反映人類思維中的皮層結構。Hinton 解釋道：「進化一定已經找到了一種有效的方法適應感知通路的早期特徵，所以它們更有助於以後幾個階段的特徵處理。」他希望 capsule-based 神經網絡架構將更能抵抗 Goodfellow 上面所提到的對抗性樣本攻擊。
也許所有這些克服深度學習限制的方法都具有真實價值，也許都沒有。只有時間和持續的人工智能研究才能撥開一切迷霧。
原文地址：https://venturebeat.com/2017/04/02/understanding-the-limits-of-deep-learning/
本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。
✄------------------------------------------------
點擊“閱讀原文”報名
↓↓↓