傑弗裡·霍頓（Geoffrey Hinton）被廣泛認可為當前人工智能之父。幾十年前，他堅持認為所有人都放棄的反向傳播和神經網絡是改變世界的方式之一。在近期的採訪中，他又表示，拋棄反向傳播吧，AI需要重新開始。
Geoffrey Hinton
在接受Axios Hinton採訪時，他表示深度懷疑反向傳播，並且建議人工智能領域的學者放棄反向傳播的研究，繼而重新開始！他擔心的是，神經網絡似乎不像人類所想的那樣學習：
我不認為這表明了大腦是如何工作的，我們顯然不需要所有的標籤數據。
這句話從神經網絡技術先驅者的口中說出來似乎是令人驚訝的，但這無疑代表了部分事實。儘管與他一起參加多倫多AI會議的學者們並不認可這一觀點。
首先，將無監督學習作為一個問題來重點關注似乎是錯誤的。大腦以某種方式將世界排序而不需要外界校正只是部分成立。一種常見且非常成功訓練神經網絡的方法是提供大量標籤數據並訓練神經網絡再現標籤。當提供大量動物類別的圖片時，可以使用反向傳播調整神經網絡以緩慢得到分類。
一個神經網絡可以學習一個分類並不奇怪，只要給定足夠的自由度和一個很好的優化算法，那麼你可以適應數據。真正值得注意的是經過訓練的神經網絡可以正確識別他們從未見過的圖像。它們似乎形成了可信的層次結構，這些層次結構使得對未知事物的識別成為可能。簡而言之，精心訓練的神經網絡似乎提取了數據集的結構。
這與人類大腦的工作方式相同嗎？
如果你將AI視為一個工程項目，那麼我們並沒有真正嘗試建立一個與人類大腦相同工作方式的人工智能大腦。我們正試圖建立一個以任何方式做同樣工作的設備。在這個意義上，識別一隻貓的神經網絡做得很好，即使它不像人類大腦那樣厲害。
然而，人類學習的一種方法是使用獎勵機制來指導我們的行為。這是強化學習，它也可以用於神經網絡。Google的深度學習在創建可以玩街機遊戲的網絡，甚至AlphaGo在擊敗世界冠軍玩家方面取得了巨大成功。通過給予標記的動作示例，AlphaGo沒有學習複雜和微妙的遊戲。相反，它只是從獲勝或失敗中逐漸學到的“經驗”。這件事情就值得考慮了，這也是我建議拒絕反向傳播的一個原因，即使反向傳播是目前深度學習成功的核心。
很明顯，人類在某種程度上是強化的學習機器，而且還有很多例子證明人類大腦的形成沒有用到機器學習，比如解決數學問題，只是應用規則，而不是強化學習。AI研究人員長期以來一直追求象徵性的推理系統作為模仿人類智力的方式。它可能不像現在深度學習那樣流行，但它仍然是實現許多先進系統解決問題的有效方法，而神經網絡似乎並不適合這一推理。
整個問題歸結於神經網絡學習。使用標籤數據或反向傳播似乎並不像我們想象中那樣快速，一個深層神經網絡就像冰川一樣沿坡度逐漸移動到一個更好的解決方案。
還有一個小問題，反向傳播似乎在生物學上沒有合理性。原理上，具有低精度算術的神經網絡似乎也是起作用的，甚至反饋校正的正確率並不重要。是的，將網絡培訓的正確性從99％提升到99.1％，效果不佳，系統仍然有點錯誤。
這是通用計算概念的AI模擬，這表明圖靈的完整性是容易實現的，而大多數甚至是稍微複雜的系統都有。AI的等效之處在於，如果擁有足夠自由度的東西，可以進行優化並將系統優化應用足夠長的時間，那麼它將會學習。
神經網絡不僅僅是一個晶體管而是計算機的大腦。它們都是可用於構建更復雜和結構化系統的組件。這個結構是什麼，以及需要什麼組件才是真正的挑戰。如果從真空管或晶體管構建計算機，從理論角度來看無關緊要。同樣的，如果我們的學習組件使用反向傳播或其他東西都不重要，因為它們不過是完整系統的一個組件而已。