CDA數據分析研究院出品，轉載需授權
深度學習是機器學習的一個子領域，研究的算法靈感來自於大腦的結構和功能，稱為人工神經網絡。
如果你現在剛剛開始進入深度學習領域，或者你曾經有過一些神經網絡的經驗，你可能會感到困惑。因為我知道我剛開始的時候有很多的困惑，我的許多同事和朋友也是這樣。因為他們在20世紀90年代和21世紀初就已經學習和使用神經網絡了。
該領域的領導者和專家對深度學習的觀點都有自己的見解，這些具體而細微的觀點為深度學習的內容提供了很多依據。
在這篇文章中，您將通過聽取該領域的一系列專家和領導者的意見，來了解什麼是深度學習以及它的內容。
來讓我們一探究竟吧。
深度學習是一種大型的神經網絡
Coursera的Andrew Ng和百度研究的首席科學家正式創立了Google Brain，最終導致了大量Google服務中的深度學習技術的產品化。
他已經說了很多關於深度學習的內容並且也寫了很多，這是一個很好的開始。
在深度學習的早期討論中，Andrew描述了傳統人工神經網絡背景下的深度學習。在2013年的題為“ 深度學習，自學習和無監督特徵學習”的演講中“他將深度學習的理念描述為：
這是我在大腦中模擬的對深度學習的希望：
- 使學習算法更好，更容易使用。
- 在機器學習和人工智能方面取得革命性進展。
我相信這是我們邁向真正人工智能的最好機會
後來他的評論變得更加細緻入微了。
Andrew認為的深度學習的核心是我們現在擁有足夠快的計算機和足夠多的數據來實際訓練大型神經網絡。在2015年ExtractConf大會上，當他 的題目“科學家應該瞭解深度學習的數據”討論到為什麼現在是深度學習起飛的時候，他評論道：
我們現在擁有的非常大的神經網絡......以及我們可以訪問的大量數據
他還評論了一個重要的觀點，那就是一切都與規模有關。當我們構建更大的神經網絡並用越來越多的數據訓練它們時，它們的性能會不斷提高。這通常與其他在性能上達到穩定水平的機器學習技術不同。
對於大多數舊時代的學習算法來說......性能將達到穩定水平。......深度學習......是第一類算法......是可以擴展的。...當你給它們提供更多的數據時，它的性能會不斷提高
他在幻燈片中提供了一個漂亮的卡通片：
最後，他清楚地指出，我們在實踐中看到的深度學習的好處來自有監督的學習。從2015年的ExtractConf演講中，他評論道：
如今的深度學習幾乎所有價值都是通過有監督的學習或從有標記的數據中學習
在2014年的早些時候，在接受斯坦福大學的題為“深度學習”的演講時，他也發出了類似的評論。
深度學習瘋狂發展的一個原因是它非常擅長監督學習
Andrew經常提到，我們應該並且會看到更多的好處來自DL的無監督的一面，因為該領域已經成熟到可以處理大量未標記的數據。
Jeff Dean是Google的系統和基礎架構小組的嚮導和谷歌高級研究員，他參與並可能負責部分Google內部深度學習的擴展和採用。Jeff參與了Google Brain項目以及負責大型深度學習軟件DistBelief和後來的TensorFlow的開發。
在2016年的一次題為“ 構建智能計算機系統的深度學習”的演講中“他以類似的方式發表評論，深度學習實際上是關於大型神經網絡的。
當你聽到深度學習這個詞的時候，就想想一個巨大的深度神經網絡。深度指的是典型的層數，因此這種流行術語在印刷機中被採用。我認為它們通常是深度神經網絡。
他已經多次發表過這個演講，並且在同一個演講的一組修改過的幻燈片中，他強調了神經網絡的可擴展性，表明隨著更多的數據和更大的模型，結果會變得更好，然而這反過來需要更多的計算來訓練模型。
深度學習是層次特徵學習
除了可擴展性之外，深度學習模型的另一個經常被引用的好處是它們能夠從原始數據中執行自動特徵提取，也稱為特徵學習。
Yoshua Bengio是深度學習的另一個領導者，儘管他開始對大型神經網絡能夠實現的自動特徵學習產生了濃厚的興趣。
他描述了使用特徵學習發現和學習良好表示的算法能力方面的深度學習。在2012年題為“ 深度學習無監督和轉移學習的表徵 ”的論文中，他評論說：
深度學習算法試圖利用輸入分佈中的未知結構，以便通常在多個級別上發現良好的表示，並使用較低級別的特徵定義更高級別的學習特徵
他在2009年的技術報告“ 人工智能學習深層架構”中提供了沿著這些方向深入學習的詳細視角，其中他強調了特徵學習中層次結構的重要性。
深度學習方法旨在學習具有來自較低級別特徵的組成所形成的較高級別的層級的特徵的特徵層級。在多個抽象級別上自動學習特性允許系統學習的複雜函數，這些函數直接從數據映射輸入到輸出，而不完全依賴於人工創建的特性。
在與Ian Goodfellow和Aaron Courville合著的即將出版的名為“ 深度學習 ”的書中，他們根據模型的架構深度來定義深度學習。
概念的層次結構允許計算機通過用簡單的概念構建複雜的概念來學習它們。如果我們繪製一個圖表來顯示這些概念是如何相互構建的，那麼圖表很深的，有很多層。出於這個原因，我們將這種方法稱為人工智能深度學習。
這是一本重要的書，有可能在一段時間內成為該領域的權威資源。本書繼續描述多層感知器作為深度學習領域中使用的算法，給出了深度學習已包含在人工神經網絡中的觀點。
深度學習模型的典型例子是前饋深度網絡或多層感知器（MLP）。
彼得·諾維格（Peter Norvig）是谷歌研究部主任，以其題為“ 人工智能：現代方法”的人工智能教科書而聞名。
在2016年的一次演講中，他給出了題為“深度學習和可理解性與軟件工程和驗證的關係”“他以與Yoshua非常相似的方式定義深度學習，重點關注使用更深層網絡結構所允許的抽象力量。
這是一種學習，你形成的表示有多個抽象層次，而不是直接輸入到輸出
為什麼稱它為“深度學習”？ 而不只是稱它為“人工神經網絡”？
Geoffrey Hinton是人工神經網絡領域的先驅，共同發表了關於訓練多層感知器網絡的反向傳播算法的第一篇論文。
他可能已經開始引入“ 深度 ” 這個短語來描述大型人工神經網絡的發展。
他在2006年共同撰寫了一篇題為“ 深度信念網的快速學習算法”的論文，其中描述了一種受訓練限制的玻爾茲曼機器的“深度”（就像一個多層網絡一樣）的方法。
使用互補先驗，我們推導出一種快速，貪婪的算法，可以一次一層地學習深層定向信念網絡，前提是前兩層形成一個無向聯想記憶。
本文和Geoff 在無向深度網絡上共同撰寫的題為“ 深度玻爾茲曼機” 的相關論文得到了社區的好評（現已引用數百次），因為它們是貪婪的分層網絡訓練的成功範例，允許前饋網絡中有更多的層。
在《科學》雜誌上發表的一篇題為“用神經網絡降低數據的維度 ”的合著文章中，他們堅持使用相同的“深度”描述來描述他們開發網絡的方法，這些網絡的層數比以前典型的網絡要多的多。
我們描述了一種初始化權重的有效方法，它允許深度自動編碼器網絡學習低維度代碼，作為一種降低數據維度的工具，這種低維度代碼比主成分分析工作的更好。
在同一篇文章中，他們發表了一篇有趣的評論，與Andrew Ng關於最近計算能力的提高以及對大型數據集的訪問的評論相吻合，這些數據集在大規模使用時釋放了神經網絡尚未開發的能力。
自20世紀80年代以來，顯而易見的是，通過深度自動編碼器的反向傳播對於非線性降維是非常有效的，只要計算機足夠快，數據集足夠大，並且初始權重足夠接近良好的解決方案。而現在這三個條件都滿足了。
在2016年與皇家學會的題為“深度學習”的談話中，Geoff評論說，深層信念網絡深度學習的開始是2006年，這一新的深度學習浪潮的第一次成功應用是2009年的語音識別，題為” 使用深度信念網絡進行聲學建模“，實現了最先進的技術水平結果。
結果使語音識別和神經網絡社區注意到，使用“深層”作為先前神經網絡技術的差異因素，可能導致名稱改變。
英國皇家學會談話中對深度學習的描述以反向傳播為中心。有趣的是，他提出了為什麼反向傳播（讀作“深度學習”）在上世紀90年代沒有成功的4個原因。前兩點與Andrew Ng的評論相符，是因為數據集太小而計算機太慢。
深度學習作為跨域的可擴展學習
深度學習在輸入（甚至輸出）是模擬的問題域上表現優異。意思是，它們不是表格格式的少量數量，而是像素數據的圖像，文本數據的文檔或音頻數據的文件。
Yann LeCun是Facebook Research的主管，是網絡架構之父，擅長圖像數據中的對象識別，稱為卷積神經網絡（CNN）。這種技術看起來非常成功，因為像多層感知器前饋神經網絡一樣，該技術可以根據數據和模型大小進行擴展，並且可以通過反向傳播進行訓練。
這使他對深度學習的定義產生了偏差，他將深度學習定義為大型中樞神經網絡的發展，而大型中樞神經網絡在照片對象識別方面取得了巨大的成功。
在勞倫斯利弗莫爾國家實驗室2016年的一次題為“ 加速理解：深度學習，智能應用和GPU ”的演講中“他將深度學習描述為學習層次表示，並將其定義為構建對象識別系統的可擴展方法：
深度學習[是] ...所有可訓練的模塊管道。......因為在識別一個物體的過程中有多個階段，所有這些階段都是訓練的一部分“
Jurgen Schmidhuber是另一種流行算法的父親，其中MLP和CNN也可以根據模型大小和數據集大小進行擴展，並且可以通過反向傳播進行訓練，而是針對學習序列數據而定製，稱為長短期記憶網絡（LSTM），是一種遞歸神經網絡。
我們確實看到在該領域的措辭中存在一些混淆，也就是“深度學習”。在2014年題為“ 神經網絡中的深度學習：概述”的論文中，他對該領域的命名問題以及深度與淺層學習的區別進行了評論。他還有趣地描述了問題複雜性而不是用來解決問題的模型來描述深度。
淺層學習在什麼時候結束，而深度？與DL專家的討論尚未對這一問題作出結論性的回答。[...]，讓我為本概述的目的定義：深度> 10的問題需要非常深度學習。
Demis Hassabis是DeepMind的創始人，公司後來被谷歌收購。DeepMind突破了將深度學習技術與強化學習結合起來，以處理複雜的學習問題，如玩遊戲，在玩Atari遊戲和Go with Alpha Go遊戲的著名例子。
為了與命名保持一致，他們將他們的新技術稱為深度Q網絡，將深度學習與Q-Learning結合起來。他們還將更廣泛的研究領域命名為“深層強化學習”。
在2015年題為“ 通過深度強化學習的人類控制 ”的自然雜誌文章中，他們評論了深度神經網絡在突破中的重要作用，並強調了對分層抽象的必要性。
為了實現這一目標，我們開發了一種新型代理，一種深度Q網絡（DQN），它能夠將強化學習與一類稱為深度神經網絡的人工神經網絡相結合。值得注意的是，深度神經網絡的最新進展使得人工神經網絡可以直接從原始傳感數據中學習諸如對象類別之類的概念，其中使用若干層節點來逐漸建立數據的抽象表示。
最後，Yann LeCun，Yoshua Bengio和Geoffrey Hinton在Nature上發表了一篇名為“ 深度學習 ”的論文。在其中，他們定義了一個清晰的深度學習，強調了了多層次的學習方法。
深度學習允許由多個處理層組成的計算模型來學習具有多個抽象級別的數據表示。
然後，在表示學習和抽象方面描述了多層方法。
深度學習方法是具有多個表示級別的表示學習方法，通過組合簡單但非線性的模塊獲得，每個模塊將表示在一個級別（從原始輸入開始）轉換為更高，稍微更抽象級別的表示。[...]深度學習的關鍵方面是這些功能層不是由人類工程師設計的：它們是使用通用學習程序從數據中學習的。
這是一個很好的通用描述，可以很容易地描述大多數人工神經網絡算法。這也是一個很好的結尾。
結束語
在這篇文章中，您發現深度學習只是一個非常大的神經網絡，需要更多的數據，需要更大的計算機。
雖然Hinton和合作者發表的早期方法側重於貪婪的分層訓練和無監督方法，如自動編碼器。但現代最先進的深度學習主要集中在使用反向傳播算法訓練深層（多層）神經網絡模型。最流行的技術是：
- 多層感知器網絡。
- 卷積神經網絡。
- 長短時記憶迴歸神經網絡。
我希望這篇文章已經講清楚了什麼是深度學習，以及如何將這些領先的定義整合在一起。
如果你對深度學習有自己的看法，那麼你可以提出你的看法，這樣我們可以進行交流與溝通。
如果你是以下幾種情況之一：
1、想了解更多大數據分析、數據挖掘、數據科學、人工智能領域的內容；
2、職業遭遇瓶頸，想提升自己在數據分析或人工智能領域的硬件技能；
3、尋求新出路、新發展，有意向轉行到數據分析行業或人工智能領域。
可點擊下面的【瞭解更多】，獲取更多精彩內容和專業幫助！