「馬上學tensorflow 2.0」深度學習的工作原理
大家好，今天我們學習【馬上學tensorflow 2.0】之 深度學習的工作原理。我們 馬上學三點 ：權重：神經網絡是由其權重來參數化損失函數：衡量網絡輸...
'2019MIT深度學習基礎課程：簡介以及TensorFlow案例概要'
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
教程：使用TensorFlow的自動駕駛場景的圖像分割
5. 自動編碼器
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
教程：使用TensorFlow的自動駕駛場景的圖像分割
5. 自動編碼器
自動編碼器是一種更簡單的“無監督學習”形式，採用encoder-decoder體系結構，並學習生成輸入數據的精確副本。由於編碼的表示比輸入數據小得多，網絡被迫學習如何形成最有意義的表示。
由於ground truth數據來自輸入數據，所以不需要人工操作。換句話說，它是自我監督的。它的應用包括無監督嵌入、圖像去噪等。但最重要的是，它的“表示學習”的基本思想是下一節生成模型和所有深度學習的核心。
TensorFlow教程：您可以在TensorFlow Keras教程中探索自動編碼器對MNIST數據集(1)去噪輸入數據和(2)嵌入形成的能力。
6. 生成對抗網絡(GANs)
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
教程：使用TensorFlow的自動駕駛場景的圖像分割
5. 自動編碼器
自動編碼器是一種更簡單的“無監督學習”形式，採用encoder-decoder體系結構，並學習生成輸入數據的精確副本。由於編碼的表示比輸入數據小得多，網絡被迫學習如何形成最有意義的表示。
由於ground truth數據來自輸入數據，所以不需要人工操作。換句話說，它是自我監督的。它的應用包括無監督嵌入、圖像去噪等。但最重要的是，它的“表示學習”的基本思想是下一節生成模型和所有深度學習的核心。
TensorFlow教程：您可以在TensorFlow Keras教程中探索自動編碼器對MNIST數據集(1)去噪輸入數據和(2)嵌入形成的能力。
6. 生成對抗網絡(GANs)
GANs是一種用於訓練網絡的框架，這種網絡經過優化，可以從特定的表示中生成新的現實樣本。在最簡單的形式下，訓練過程涉及兩個網絡。其中一個網絡稱為“生成器”，它生成新的數據實例，試圖欺騙另一個網絡“判別器”，後者將圖像分為真圖像和假圖像。
在過去的幾年中，GANs被提出了許多變體和改進，包括從特定類生成圖像的能力、從一個域映射到另一個域的能力，以及生成圖像的真實性的驚人提高。參見關於Deep Learning State of the Art的講座，該講座涉及並描述了GANs的快速發展。例如，看一看BigGAN從單一種類(蠅木耳)中產生的三個樣本(arXiv論文)：
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
教程：使用TensorFlow的自動駕駛場景的圖像分割
5. 自動編碼器
自動編碼器是一種更簡單的“無監督學習”形式，採用encoder-decoder體系結構，並學習生成輸入數據的精確副本。由於編碼的表示比輸入數據小得多，網絡被迫學習如何形成最有意義的表示。
由於ground truth數據來自輸入數據，所以不需要人工操作。換句話說，它是自我監督的。它的應用包括無監督嵌入、圖像去噪等。但最重要的是，它的“表示學習”的基本思想是下一節生成模型和所有深度學習的核心。
TensorFlow教程：您可以在TensorFlow Keras教程中探索自動編碼器對MNIST數據集(1)去噪輸入數據和(2)嵌入形成的能力。
6. 生成對抗網絡(GANs)
GANs是一種用於訓練網絡的框架，這種網絡經過優化，可以從特定的表示中生成新的現實樣本。在最簡單的形式下，訓練過程涉及兩個網絡。其中一個網絡稱為“生成器”，它生成新的數據實例，試圖欺騙另一個網絡“判別器”，後者將圖像分為真圖像和假圖像。
在過去的幾年中，GANs被提出了許多變體和改進，包括從特定類生成圖像的能力、從一個域映射到另一個域的能力，以及生成圖像的真實性的驚人提高。參見關於Deep Learning State of the Art的講座，該講座涉及並描述了GANs的快速發展。例如，看一看BigGAN從單一種類(蠅木耳)中產生的三個樣本(arXiv論文)：
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
教程：使用TensorFlow的自動駕駛場景的圖像分割
5. 自動編碼器
自動編碼器是一種更簡單的“無監督學習”形式，採用encoder-decoder體系結構，並學習生成輸入數據的精確副本。由於編碼的表示比輸入數據小得多，網絡被迫學習如何形成最有意義的表示。
由於ground truth數據來自輸入數據，所以不需要人工操作。換句話說，它是自我監督的。它的應用包括無監督嵌入、圖像去噪等。但最重要的是，它的“表示學習”的基本思想是下一節生成模型和所有深度學習的核心。
TensorFlow教程：您可以在TensorFlow Keras教程中探索自動編碼器對MNIST數據集(1)去噪輸入數據和(2)嵌入形成的能力。
6. 生成對抗網絡(GANs)
GANs是一種用於訓練網絡的框架，這種網絡經過優化，可以從特定的表示中生成新的現實樣本。在最簡單的形式下，訓練過程涉及兩個網絡。其中一個網絡稱為“生成器”，它生成新的數據實例，試圖欺騙另一個網絡“判別器”，後者將圖像分為真圖像和假圖像。
在過去的幾年中，GANs被提出了許多變體和改進，包括從特定類生成圖像的能力、從一個域映射到另一個域的能力，以及生成圖像的真實性的驚人提高。參見關於Deep Learning State of the Art的講座，該講座涉及並描述了GANs的快速發展。例如，看一看BigGAN從單一種類(蠅木耳)中產生的三個樣本(arXiv論文)：
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
教程：使用TensorFlow的自動駕駛場景的圖像分割
5. 自動編碼器
自動編碼器是一種更簡單的“無監督學習”形式，採用encoder-decoder體系結構，並學習生成輸入數據的精確副本。由於編碼的表示比輸入數據小得多，網絡被迫學習如何形成最有意義的表示。
由於ground truth數據來自輸入數據，所以不需要人工操作。換句話說，它是自我監督的。它的應用包括無監督嵌入、圖像去噪等。但最重要的是，它的“表示學習”的基本思想是下一節生成模型和所有深度學習的核心。
TensorFlow教程：您可以在TensorFlow Keras教程中探索自動編碼器對MNIST數據集(1)去噪輸入數據和(2)嵌入形成的能力。
6. 生成對抗網絡(GANs)
GANs是一種用於訓練網絡的框架，這種網絡經過優化，可以從特定的表示中生成新的現實樣本。在最簡單的形式下，訓練過程涉及兩個網絡。其中一個網絡稱為“生成器”，它生成新的數據實例，試圖欺騙另一個網絡“判別器”，後者將圖像分為真圖像和假圖像。
在過去的幾年中，GANs被提出了許多變體和改進，包括從特定類生成圖像的能力、從一個域映射到另一個域的能力，以及生成圖像的真實性的驚人提高。參見關於Deep Learning State of the Art的講座，該講座涉及並描述了GANs的快速發展。例如，看一看BigGAN從單一種類(蠅木耳)中產生的三個樣本(arXiv論文)：
圖像通過BigGAN生成
TensorFlow教程：參見conditional GANs和DCGANs中的教程，瞭解GANs早期變體的示例。隨著課程的進展，我們將在GitHub上發佈GANs中最先進的教程。
7. 深度強化學習 (Deep RL)
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
教程：使用TensorFlow的自動駕駛場景的圖像分割
5. 自動編碼器
自動編碼器是一種更簡單的“無監督學習”形式，採用encoder-decoder體系結構，並學習生成輸入數據的精確副本。由於編碼的表示比輸入數據小得多，網絡被迫學習如何形成最有意義的表示。
由於ground truth數據來自輸入數據，所以不需要人工操作。換句話說，它是自我監督的。它的應用包括無監督嵌入、圖像去噪等。但最重要的是，它的“表示學習”的基本思想是下一節生成模型和所有深度學習的核心。
TensorFlow教程：您可以在TensorFlow Keras教程中探索自動編碼器對MNIST數據集(1)去噪輸入數據和(2)嵌入形成的能力。
6. 生成對抗網絡(GANs)
GANs是一種用於訓練網絡的框架，這種網絡經過優化，可以從特定的表示中生成新的現實樣本。在最簡單的形式下，訓練過程涉及兩個網絡。其中一個網絡稱為“生成器”，它生成新的數據實例，試圖欺騙另一個網絡“判別器”，後者將圖像分為真圖像和假圖像。
在過去的幾年中，GANs被提出了許多變體和改進，包括從特定類生成圖像的能力、從一個域映射到另一個域的能力，以及生成圖像的真實性的驚人提高。參見關於Deep Learning State of the Art的講座，該講座涉及並描述了GANs的快速發展。例如，看一看BigGAN從單一種類(蠅木耳)中產生的三個樣本(arXiv論文)：
圖像通過BigGAN生成
TensorFlow教程：參見conditional GANs和DCGANs中的教程，瞭解GANs早期變體的示例。隨著課程的進展，我們將在GitHub上發佈GANs中最先進的教程。
7. 深度強化學習 (Deep RL)
強化學習(RL)是一個框架，用來教一個主體如何在世界上以一種最大化回報的方式行動。當學習由神經網絡完成時，我們稱之為深度強化學習(Deep Reinforcement learning, Deep RL)。RL框架有三種類型：基於策略的、基於值的和基於模型的。區別在於神經網絡的任務是學習。參見麻省理工學院課程6的Introduction to Deep RL講座。查詢更多詳情。Deep RL允許我們在需要做出一系列決策的模擬或現實環境中應用神經網絡。這包括遊戲、機器人、神經結構搜索等等。
教程：我們的DeepTraffic環境提供了一個教程和代碼示例，用於在瀏覽器中快速探索、訓練和評估Deep RL代理，我們將很快發佈TensorFlow教程，用於GitHub上支持gpu的訓練：
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
教程：使用TensorFlow的自動駕駛場景的圖像分割
5. 自動編碼器
自動編碼器是一種更簡單的“無監督學習”形式，採用encoder-decoder體系結構，並學習生成輸入數據的精確副本。由於編碼的表示比輸入數據小得多，網絡被迫學習如何形成最有意義的表示。
由於ground truth數據來自輸入數據，所以不需要人工操作。換句話說，它是自我監督的。它的應用包括無監督嵌入、圖像去噪等。但最重要的是，它的“表示學習”的基本思想是下一節生成模型和所有深度學習的核心。
TensorFlow教程：您可以在TensorFlow Keras教程中探索自動編碼器對MNIST數據集(1)去噪輸入數據和(2)嵌入形成的能力。
6. 生成對抗網絡(GANs)
GANs是一種用於訓練網絡的框架，這種網絡經過優化，可以從特定的表示中生成新的現實樣本。在最簡單的形式下，訓練過程涉及兩個網絡。其中一個網絡稱為“生成器”，它生成新的數據實例，試圖欺騙另一個網絡“判別器”，後者將圖像分為真圖像和假圖像。
在過去的幾年中，GANs被提出了許多變體和改進，包括從特定類生成圖像的能力、從一個域映射到另一個域的能力，以及生成圖像的真實性的驚人提高。參見關於Deep Learning State of the Art的講座，該講座涉及並描述了GANs的快速發展。例如，看一看BigGAN從單一種類(蠅木耳)中產生的三個樣本(arXiv論文)：
圖像通過BigGAN生成
TensorFlow教程：參見conditional GANs和DCGANs中的教程，瞭解GANs早期變體的示例。隨著課程的進展，我們將在GitHub上發佈GANs中最先進的教程。
7. 深度強化學習 (Deep RL)
強化學習(RL)是一個框架，用來教一個主體如何在世界上以一種最大化回報的方式行動。當學習由神經網絡完成時，我們稱之為深度強化學習(Deep Reinforcement learning, Deep RL)。RL框架有三種類型：基於策略的、基於值的和基於模型的。區別在於神經網絡的任務是學習。參見麻省理工學院課程6的Introduction to Deep RL講座。查詢更多詳情。Deep RL允許我們在需要做出一系列決策的模擬或現實環境中應用神經網絡。這包括遊戲、機器人、神經結構搜索等等。
教程：我們的DeepTraffic環境提供了一個教程和代碼示例，用於在瀏覽器中快速探索、訓練和評估Deep RL代理，我們將很快發佈TensorFlow教程，用於GitHub上支持gpu的訓練：
MIT DeepTraffic: Deep Reinforcement Learning Compe
基礎之外
在深度學習中有幾個重要的概念並不是由上面的架構直接表示的。例如Variational Autoencoders (VAE)、LSTM/GRU或Neural Turing Machine上下文中的"記憶"概念、Capsule Networks、注意力的概念、遷移學習的概念、元學習，以及RL中基於模型、基於值、基於策略的方法和行為批評方法的區別。最後，許多深度學習系統將這些體系結構以複雜的方式組合起來，共同從多模態數據中學習，或者共同學習解決多個任務。這些概念在本課程的其他課程中都有涉及，更多的概念將在接下來的課程中介紹：
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
教程：使用TensorFlow的自動駕駛場景的圖像分割
5. 自動編碼器
自動編碼器是一種更簡單的“無監督學習”形式，採用encoder-decoder體系結構，並學習生成輸入數據的精確副本。由於編碼的表示比輸入數據小得多，網絡被迫學習如何形成最有意義的表示。
由於ground truth數據來自輸入數據，所以不需要人工操作。換句話說，它是自我監督的。它的應用包括無監督嵌入、圖像去噪等。但最重要的是，它的“表示學習”的基本思想是下一節生成模型和所有深度學習的核心。
TensorFlow教程：您可以在TensorFlow Keras教程中探索自動編碼器對MNIST數據集(1)去噪輸入數據和(2)嵌入形成的能力。
6. 生成對抗網絡(GANs)
GANs是一種用於訓練網絡的框架，這種網絡經過優化，可以從特定的表示中生成新的現實樣本。在最簡單的形式下，訓練過程涉及兩個網絡。其中一個網絡稱為“生成器”，它生成新的數據實例，試圖欺騙另一個網絡“判別器”，後者將圖像分為真圖像和假圖像。
在過去的幾年中，GANs被提出了許多變體和改進，包括從特定類生成圖像的能力、從一個域映射到另一個域的能力，以及生成圖像的真實性的驚人提高。參見關於Deep Learning State of the Art的講座，該講座涉及並描述了GANs的快速發展。例如，看一看BigGAN從單一種類(蠅木耳)中產生的三個樣本(arXiv論文)：
圖像通過BigGAN生成
TensorFlow教程：參見conditional GANs和DCGANs中的教程，瞭解GANs早期變體的示例。隨著課程的進展，我們將在GitHub上發佈GANs中最先進的教程。
7. 深度強化學習 (Deep RL)
強化學習(RL)是一個框架，用來教一個主體如何在世界上以一種最大化回報的方式行動。當學習由神經網絡完成時，我們稱之為深度強化學習(Deep Reinforcement learning, Deep RL)。RL框架有三種類型：基於策略的、基於值的和基於模型的。區別在於神經網絡的任務是學習。參見麻省理工學院課程6的Introduction to Deep RL講座。查詢更多詳情。Deep RL允許我們在需要做出一系列決策的模擬或現實環境中應用神經網絡。這包括遊戲、機器人、神經結構搜索等等。
教程：我們的DeepTraffic環境提供了一個教程和代碼示例，用於在瀏覽器中快速探索、訓練和評估Deep RL代理，我們將很快發佈TensorFlow教程，用於GitHub上支持gpu的訓練：
MIT DeepTraffic: Deep Reinforcement Learning Compe
基礎之外
在深度學習中有幾個重要的概念並不是由上面的架構直接表示的。例如Variational Autoencoders (VAE)、LSTM/GRU或Neural Turing Machine上下文中的"記憶"概念、Capsule Networks、注意力的概念、遷移學習的概念、元學習，以及RL中基於模型、基於值、基於策略的方法和行為批評方法的區別。最後，許多深度學習系統將這些體系結構以複雜的方式組合起來，共同從多模態數據中學習，或者共同學習解決多個任務。這些概念在本課程的其他課程中都有涉及，更多的概念將在接下來的課程中介紹：
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
教程：使用TensorFlow的自動駕駛場景的圖像分割
5. 自動編碼器
自動編碼器是一種更簡單的“無監督學習”形式，採用encoder-decoder體系結構，並學習生成輸入數據的精確副本。由於編碼的表示比輸入數據小得多，網絡被迫學習如何形成最有意義的表示。
由於ground truth數據來自輸入數據，所以不需要人工操作。換句話說，它是自我監督的。它的應用包括無監督嵌入、圖像去噪等。但最重要的是，它的“表示學習”的基本思想是下一節生成模型和所有深度學習的核心。
TensorFlow教程：您可以在TensorFlow Keras教程中探索自動編碼器對MNIST數據集(1)去噪輸入數據和(2)嵌入形成的能力。
6. 生成對抗網絡(GANs)
GANs是一種用於訓練網絡的框架，這種網絡經過優化，可以從特定的表示中生成新的現實樣本。在最簡單的形式下，訓練過程涉及兩個網絡。其中一個網絡稱為“生成器”，它生成新的數據實例，試圖欺騙另一個網絡“判別器”，後者將圖像分為真圖像和假圖像。
在過去的幾年中，GANs被提出了許多變體和改進，包括從特定類生成圖像的能力、從一個域映射到另一個域的能力，以及生成圖像的真實性的驚人提高。參見關於Deep Learning State of the Art的講座，該講座涉及並描述了GANs的快速發展。例如，看一看BigGAN從單一種類(蠅木耳)中產生的三個樣本(arXiv論文)：
圖像通過BigGAN生成
TensorFlow教程：參見conditional GANs和DCGANs中的教程，瞭解GANs早期變體的示例。隨著課程的進展，我們將在GitHub上發佈GANs中最先進的教程。
7. 深度強化學習 (Deep RL)
強化學習(RL)是一個框架，用來教一個主體如何在世界上以一種最大化回報的方式行動。當學習由神經網絡完成時，我們稱之為深度強化學習(Deep Reinforcement learning, Deep RL)。RL框架有三種類型：基於策略的、基於值的和基於模型的。區別在於神經網絡的任務是學習。參見麻省理工學院課程6的Introduction to Deep RL講座。查詢更多詳情。Deep RL允許我們在需要做出一系列決策的模擬或現實環境中應用神經網絡。這包括遊戲、機器人、神經結構搜索等等。
教程：我們的DeepTraffic環境提供了一個教程和代碼示例，用於在瀏覽器中快速探索、訓練和評估Deep RL代理，我們將很快發佈TensorFlow教程，用於GitHub上支持gpu的訓練：
MIT DeepTraffic: Deep Reinforcement Learning Compe
基礎之外
在深度學習中有幾個重要的概念並不是由上面的架構直接表示的。例如Variational Autoencoders (VAE)、LSTM/GRU或Neural Turing Machine上下文中的"記憶"概念、Capsule Networks、注意力的概念、遷移學習的概念、元學習，以及RL中基於模型、基於值、基於策略的方法和行為批評方法的區別。最後，許多深度學習系統將這些體系結構以複雜的方式組合起來，共同從多模態數據中學習，或者共同學習解決多個任務。這些概念在本課程的其他課程中都有涉及，更多的概念將在接下來的課程中介紹：
"
"
作者：Lex Fridman
編譯：ronghuaiyang
導讀
2019的MIT的最新深度學習教程，內容包括神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。來一睹為快吧！
麻省理工學院深度學習系列課程(6.S091, 6.S093, 6.S094)。講座視頻和教程對所有人開放。
作為麻省理工學院深度學習系列講座和GitHub教程的一部分，我們將介紹使用神經網絡解決計算機視覺、自然語言處理、遊戲、自動駕駛、機器人等領域問題的基礎知識。
這篇博客文章提供了7個體繫結構範例的深度學習概述，每個範例都有TensorFlow教程的鏈接。
深度學習是表徵學習：從數據中自動形成有用的表徵。我們如何表現世界，可以讓複雜的東西在我們人類和我們建立的機器學習模型看來都很簡單。
關於前者，我最喜歡的例子是1543年哥白尼發表的《日心說》(heliocentric model)，它將太陽置於“宇宙”的中心，而不是之前的《地心說》(geocentric model)中把地球置於中心的觀點。在最好的情況下，深度學習可以讓我們自動完成這一步，從特徵工程中去掉哥白尼(也就是我們所說的人類專家)：
日心說 (1543) vs 地心說 (6th century BC)
在高層次上，神經網絡要麼是編碼器，要麼是解碼器，要麼是兩者的組合：
- 編碼器在原始數據中查找模式，以形成緊湊、有用的表示形式。
- 解碼器從這些表示生成高分辨率數據。生成的數據要麼是新的示例，要麼是描述性知識。
其餘的則是一些聰明的方法，它們可以幫助我們有效地處理視覺信息、語言、音頻(第1-6條)，甚至可以在一個基於這些信息和偶爾獎勵的世界中採取行動(第7條)。這是宏觀視圖：
在下面的部分中，我將簡要描述這7個體繫結構範例，並提供每個範例的演示性TensorFlow教程的鏈接。參見最後的“超越基礎”部分，該部分討論了深度學習的一些令人興奮的領域，這些領域並不完全屬於這七個類別。
1. 前饋神經網絡（FFNNs）
FFNNs的歷史可以追溯到20世紀40年代，它只是沒有任何循環的網絡。數據以單次傳遞的方式從輸入傳遞到輸出，而沒有以前的任何“狀態內存”。從技術上講，深度學習中的大多數網絡都可以被認為是FFNNs，但通常“FFNN”指的是其最簡單的變體：緊密連接的多層感知器(MLP)。
稠密編碼器用於將輸入上已經很緊湊的一組數字映射到預測：分類(離散)或迴歸(連續)。
TensorFlow教程：請參閱我們的Deep Learning Basics Tutorial第1部分，它是一個將FFNNs用於波士頓房價預測的迴歸問題的示例：
網絡學習時訓練和驗證集上的損失
2. 卷積神經網絡 (CNNs)
CNNs(又名ConvNets)是一種前饋神經網絡，它使用一種空間不變的技巧有效地學習圖像中的局部模式，這種方法在圖像中最為常見。空間不變性是指圖像左上角的貓耳與圖像右下角的貓耳具有相同的特徵。CNNs跨空間共享權重，使貓耳等模式的檢測更加高效。
它們不是隻使用緊密連接的層，而是使用卷積層(卷積編碼器)。這些網絡用於圖像分類、目標檢測、視頻動作識別以及任何在結構上具有一定空間不變性的數據(如語音音頻)。
TensorFlow教程：參見Deep Learning Basics Tutorial第2部分，這是一個用於對MNIST數據集中的手寫數字進行分類的CNNs示例，帶有一個漂亮的夢幻般的扭曲，其中我們在生成的高分辨率上測試分類器，從數據集外部變形手寫數字：
對於變形的分類預測(右)，生成的手寫數字(左)
3. 循環神經網絡 (RNNs)
RNN是具有循環的網絡，因此具有“狀態內存”。它們可以即時展開，成為權重共享的前饋網絡。正如CNNs在“空間”上共享權重一樣，RNNs在“時間”上共享權重。這使得它們能夠處理並有效地表示順序數據中的模式。
已經開發了許多RNNs模塊的變體，包括LSTMs和GRUs，以幫助學習更長的序列中的模式。應用包括自然語言建模、語音識別、語音生成等。
TensorFlow教程：循環神經網絡的訓練是很有挑戰性的，但同時也允許我們對序列數據進行一些有趣和強大的建模。關於使用TensorFlow生成文本的教程是我最喜歡的教程之一，因為它用很少的幾行代碼就完成了一些了不起的事情：在字符的基礎上生成合理的文本：
來源： Text Generation with TensorFlow
4. Encoder-Decoder結構
前3節中介紹的FFNNs、CNNs和RNNs只是分別使用密集編碼器、卷積編碼器或循環編碼器進行預測的網絡。這些編碼器可以組合或切換，這取決於我們試圖形成的有用表示的原始數據類型。“Encoder-Decoder”架構是一種更高層次的概念，它構建在編碼步驟之上，通過對壓縮表示的上採樣，通過解碼步驟生成高維輸出，而不是進行預測。
請注意，編碼器和解碼器可以是非常不同的彼此。例如，圖像字幕網絡可能有卷積編碼器(用於圖像輸入)和循環解碼器(用於自然語言輸出)。應用包括語義分割、機器翻譯等。
TensorFlow教程：看一下我們在 Driving Scene segmentation上的教程，展示了一個最先進的自動駕駛車輛感知問題分割網絡:
教程：使用TensorFlow的自動駕駛場景的圖像分割
5. 自動編碼器
自動編碼器是一種更簡單的“無監督學習”形式，採用encoder-decoder體系結構，並學習生成輸入數據的精確副本。由於編碼的表示比輸入數據小得多，網絡被迫學習如何形成最有意義的表示。
由於ground truth數據來自輸入數據，所以不需要人工操作。換句話說，它是自我監督的。它的應用包括無監督嵌入、圖像去噪等。但最重要的是，它的“表示學習”的基本思想是下一節生成模型和所有深度學習的核心。
TensorFlow教程：您可以在TensorFlow Keras教程中探索自動編碼器對MNIST數據集(1)去噪輸入數據和(2)嵌入形成的能力。
6. 生成對抗網絡(GANs)
GANs是一種用於訓練網絡的框架，這種網絡經過優化，可以從特定的表示中生成新的現實樣本。在最簡單的形式下，訓練過程涉及兩個網絡。其中一個網絡稱為“生成器”，它生成新的數據實例，試圖欺騙另一個網絡“判別器”，後者將圖像分為真圖像和假圖像。
在過去的幾年中，GANs被提出了許多變體和改進，包括從特定類生成圖像的能力、從一個域映射到另一個域的能力，以及生成圖像的真實性的驚人提高。參見關於Deep Learning State of the Art的講座，該講座涉及並描述了GANs的快速發展。例如，看一看BigGAN從單一種類(蠅木耳)中產生的三個樣本(arXiv論文)：
圖像通過BigGAN生成
TensorFlow教程：參見conditional GANs和DCGANs中的教程，瞭解GANs早期變體的示例。隨著課程的進展，我們將在GitHub上發佈GANs中最先進的教程。
7. 深度強化學習 (Deep RL)
強化學習(RL)是一個框架，用來教一個主體如何在世界上以一種最大化回報的方式行動。當學習由神經網絡完成時，我們稱之為深度強化學習(Deep Reinforcement learning, Deep RL)。RL框架有三種類型：基於策略的、基於值的和基於模型的。區別在於神經網絡的任務是學習。參見麻省理工學院課程6的Introduction to Deep RL講座。查詢更多詳情。Deep RL允許我們在需要做出一系列決策的模擬或現實環境中應用神經網絡。這包括遊戲、機器人、神經結構搜索等等。
教程：我們的DeepTraffic環境提供了一個教程和代碼示例，用於在瀏覽器中快速探索、訓練和評估Deep RL代理，我們將很快發佈TensorFlow教程，用於GitHub上支持gpu的訓練：
MIT DeepTraffic: Deep Reinforcement Learning Compe
基礎之外
在深度學習中有幾個重要的概念並不是由上面的架構直接表示的。例如Variational Autoencoders (VAE)、LSTM/GRU或Neural Turing Machine上下文中的"記憶"概念、Capsule Networks、注意力的概念、遷移學習的概念、元學習，以及RL中基於模型、基於值、基於策略的方法和行為批評方法的區別。最後，許多深度學習系統將這些體系結構以複雜的方式組合起來，共同從多模態數據中學習，或者共同學習解決多個任務。這些概念在本課程的其他課程中都有涉及，更多的概念將在接下來的課程中介紹：
英文原文：https://medium.com/tensorflow/mit-deep-learning-basics-introduction-and-overview-with-tensorflow-355bcd26baf0
更多文章，請關注微信公眾號：AI公園
相關推薦
'機器學習&深度學習基礎（tensorflow版本實現的算法概述0）'
"tensorflow集成和實現了各種機器學習基礎的算法，可以直接調用。代碼集：https://github.com/ageron/handson-ml監督學習1）決策樹（Decision Tree）和隨機森林決策樹： 決策樹是一種樹形結構，為人們提供決策依據，決策樹可以用...
斯坦福2019年深度學習NLP課程完結，視頻（有字幕）已放出
乾明 發自 凹非寺 量子位 報道 | 公眾號 QbitAI斯坦福2019年深度學習NLP課程資源出來了！大部分課程視頻（有字幕）已經上線，所有的課程PPT...
給初學者的深度學習簡介
數據學習（DataLearner）- 關注人工智能算法、學術論文和程序開發歡迎訪問：http://www.datalearner.com深度學習是計算機領...
推薦中...