深度學習——機器是怎麼學習的?

  在大數據時代,數據的膨脹趨勢日益加劇。面對紛繁複雜的數據,如何將它們進行有效的分析,讓其價值得以體現、得以進行合理地利用,是大數據時代最迫切需要思考和解決的核心問題之一。

深度學習——機器是怎麼學習的?

  也正因此,它成為了人工智能研究極可大展拳腳的一個領域。而近期興起的深度學習方法正是開啟這個黑匣子的一把鑰匙。

深度學習——機器是怎麼學習的?

  深度學習是機器學習領域一個新興的研究方向。它通過模仿人腦結構,建立起了一個深層神經網絡,通過輸入層輸入數據,由低到高逐層提取特徵,建立起低級特徵到高級語義之間複雜的映射關係。以實現對輸入的複雜數據的高效處理,使機器像人一樣智能地學習不同的知識,並且有效地解決多類複雜的智能問題。

深度學習——機器是怎麼學習的?

  深度學習研究的主要任務,是設計和開發可以智能地根據實際數據進行“學習”的算法,這些算法可以自動地挖掘隱藏在數據中的模式和規律。

深度學習——機器是怎麼學習的?

  根據深層神經網絡的構造方式、訓練方法等因素,深度學習可分為3大類別:生成深層結構、判別深層結構以及混合深層結構。

  一、

  生成深層機構是通過學習觀測數據高階相關性,或觀測數據和關聯類別之間的統計特徵分佈來實現模式分類的一類深層結構。其代表模型是深度信任網絡(DBN)。

  深度信任網絡(Deep Belief Networks)

深度學習——機器是怎麼學習的?

圖1 DBN的生成過程

深度學習——機器是怎麼學習的?

圖2 RBM的無向圖模型(DBN的結構單元)

  二、

  判別深層結構是通過直接學習不同類別之間的區分表達能力來實現模式分類的一類深層結構。其代表模型是卷積神經網絡(CNN)。

              卷積神經網絡(Convolutional Neural Network,CNN)深度學習——機器是怎麼學習的?

圖3 CNN模型

  三、

  混合深層結構是將生成模式和判別模式相結合而成的一類深層結構。在諸多混合深層模型訓練中,生成單元首先將模型參數初始化為近似最優解,再使用判別單元全局微調,以達到有效解決高度複雜問題的建模與推廣問題。

深度學習——機器是怎麼學習的?

  在此基礎上,研究者不斷對各種深度學習模型進行改進或優化學習算法,如使用CRBM代替RBM對連續數據建模,將傳統CNN與貪心逐層無監督學習算法結合提高有標籤數據稀少時特徵提取器的訓練性能,學習用預訓練算法(CD算法)提高RBM的訓練效率或全局優化算法解決深層神經網絡模型中收斂速度慢、易於過擬合等問題。

  隨著對深度學習研究的深入,藉助深度學習解決多種智能問題逐漸成為機器學習研究的主流,並逐漸佔據核心地位,併為各種人工智能產品的研究提供了技術和思路基礎。

深度學習——機器是怎麼學習的?

  目前,深度學習已為語音識別(如音樂流派,說話者識別,說話者性別分類,語音分類等)、圖像視頻識別(如手寫體字符識別,人臉識別,圖像識別和檢索等)、語言處理和信息檢索(詞性標記,語義角色識別,基於情感分類器的在線評價、輿情分析和自適應學習方法等)等領域取得了多項令人矚目的研發成果。

相關推薦

推薦中...