高山大學2019年經典課程

授課老師：

特倫斯·謝洛夫斯基：人工智能科學家，美國國家科學院院士、美國國家醫學院院士、美國國家工程院院士、美國國家藝術與科學學院院士、美國物理學會會士、國際電氣與電子工程師協會（IEEE）會士。

張宏江：高山大學創始校董，校董會終身榮譽主席。現任源碼資本投資合夥人，曾任金山集團CEO、微軟亞太研發集團（ARD）首席技術官及微軟亞洲工程院（ATC）院長，微軟“傑出科學家”之一。是世界多媒體和人工智能研究領域一流的科學家，計算機視頻檢索研究領域的開山鼻祖。

※以下為特倫斯院士課程《智能時代的深度學習和核心驅動力》，文稿內容約為現場內容十分之一

很高興跟大家見面，非常開心有這個機會與大家一起探討人工智能（AI）。

在過去的這些年裡，人工智能技術風靡全球。80年代我從事AI研究的時候，絕不可能想到我會來中國跟大家討論這項技術帶來的重大改變。

就在幾天前，計算機科學裡的最高榮譽——圖靈獎，頒給了我的老朋友Geoffrey E Hinton，Yoshua Bengio和Yann LeCun，這相當於計算機界的諾貝爾獎，讚譽極高。

△2018年圖靈獎得主

過去百年的科學和技術發展

20世紀前半葉，最振奮的科學突破來自於基礎物理學，愛因斯坦發現的相對論。

20世紀下半葉，重大的突破主要集中在分子生物學。尤其是沃森和克里克發現了DNA的雙螺旋結構，人類首次認識到DNA是生命的基礎。由此，我們也開始研發出了新的技術和手段對DNA進行編輯，以便於更好地探索細胞的複雜性。

21世紀前半葉，最讓我們振奮的科學突破又是什麼呢？

也許因為我們身處其中無法判斷，但我認為所有令人興奮的發現都與信息技術有關。

有了計算機科學之後，我們進入了一個全新的信息時代。信息學成為了我們不斷積累、分析，進而推演出有趣算法的一個領域。

人體內終極的信息系統是大腦，可以說當前是神經系統的黃金時代，我們有強大的技術和手段，還有海量的數據可以去分析基因組，分析腦內的神經元。

2001年，第一個人類基因組測序花了30億美元，而現在只要1000美元就可以做到，這就是大數據帶來的巨大進步。

人腦與計算機的區別和聯繫

△萊特兄弟在基蒂霍克做飛行試驗

我想從萊特兄弟講起。他倆都是工程師，共同經營著一家自行車店。怎麼提高自行車的效率是那個時候工程師們最關注的事情。其實計算機科學家也是一樣的，本質上是在關注人類如何去思考，如何做決策這樣的問題。

飛機研發初期，人們希望能夠模仿鳥類來實現飛行的夢想。

萊特兄弟研究飛機的時候，花了很長時間去觀察鳥。他們發現鳥類在滑行的時候，可以不用扇動翅膀，只需藉助風的力量就能夠飛翔。於是就考慮模仿鳥類滑翔的機制來製造飛機。

分享萊特兄弟的故事，是想告訴大家，我們向自然界學習，並不是學每一個細節，而是從原則上進行借鑑。

這就好像是計算機科學剛起步的時候，大家都希望能模仿人腦。但事實上計算機的運行機制和大腦的機制是不一樣的。

大腦中有數十億的神經元，它們是異步工作的，不遵循時間的設計，做著獨立的決策。這一點是芯片無法做到的。

圖片識別

如何利用人工智能系統來進行計算？這是我們的研究方向。

人類可以通過經驗進行知識更新、信息更新，我們如何讓電腦也具有這樣的功能呢？

大腦神經元之間互相連接之後，學習得到了加強，同時也可以吸收外部世界的大量數據進行整理，從而去解決一些問題。

我覺得這是計算機可以借鑑的。

1958年，康奈爾大學的弗蘭克·羅森布拉特發明了一種看似簡單的網絡感知器算法，感知器是具有單一人造神經元的神經網絡，它有一個輸入層以及將輸入單元和輸出單元相連的一組連接。感知器的目標是確定輸入的圖案是否屬於某一類別。

△感知器

羅森布拉特發明的這個算法可以解決現實問題。比如應用在男女性面部識別上。

首先用大量的示例圖片對算法進行訓練，如果計算錯了，就重新開始，校正權重，直到得出正確輸出結果。

△面部識別

作為人類，我們可以通過人的第二性徵來判斷性別，但如果去掉頭髮、鬍鬚、首飾等，可能我們就無法判斷了。

但是感知器不一樣，樣本越大，輸出結果的正確率就越高，與其他因素沒有太大關係，這就是感知器的優勢。

但感知器也有它的侷限性，那就是它只能解決線性的問題，對非線性的問題則束手無策。

對此，Geoffrey E Hinton和我一起發明了玻爾茲曼機，玻爾茲曼機中有二進制隱藏單元和可見單元，單元可以對我們的信息進行加工，投射到輸出部分。從某種意義上說，這是大腦將感覺輸入轉化為運動輸出。

早在20世紀80年代，計算機的成本很高，而且計算速度很慢，隨著時間推移，計算成本逐漸下降，人們擁有了更大的網絡，也可以在更大的數據集上訓練它。

但其實這是一件很困難的事情，解決現實世界問題所需的程序規模是相當巨大的，視覺處理不僅要計算位置、大小和方向的差異，還必須根據對象的不同特性來區別它們。人們很多次的努力都失敗了。

2012年出現了一個轉折點，計算和機器學習解決視覺問題的成本開始低於比程所需的成本。

這一年，Yann LeCun提出了使用卷積神經網絡進行圖片分類的算法。最開始這種算法並不成功，但經歷了很長時間的發展後，許多計算機都採用了這種算法，隨著數據樣本越來越大，他們的處理系統也越來越好。

卷積神經網絡的基本結構是基於卷積的，卷積可以被想象成一個小的滑動濾波器，在劃過整張圖像的過程中創建一個特徵層。隨著進入特徵層的樣本越來越多，輸出的結果就會更加地準確。

麻省理工詹姆斯·狄卡羅比較了猴子視覺皮層層級結構中不同神經元和深度學習神經網絡中的單元。

他發現第一層中圖像卷積的濾波器，與視覺皮層中的“簡單細胞”類似，超過第一層之後，更高層次的濾波器則會進入複雜的視覺處理階段，對複雜的特徵做出響應和解碼。

他得出的結論是：深度學習網絡中每層神經元的統計特性，與皮層層級結構中神經元的統計特性非常接近。

當時做實驗的時候，由於對大腦的認知不夠，我們並不理解動物的視覺系統為什麼能夠做出相應的分析，但是後來通過深度學習網絡的分層分析，我們追蹤信息流一層到另一層的轉變，開始可以反過來分析大腦中的神經元。

所以，深度學習能夠加深我們對於大腦神經元的認識。而與此同時，對大腦的認識又進一步激發了我們對於機器學習的設計，所以這個過程是非常強大的，可以幫助我們更好地強化對兩方面的理解。

場景識別

識別圖像是深度學習的第一步，我們真正想做的是建立起一種能夠理解複雜場景的模式。

這需要深度學習能夠為圖片做標註。即先標記圖片中的對象，將其傳遞給循環神經網絡，循環神經網絡輸出適當的英文單詞串。

在這個過程中，我們會用到注意力（白色雲）來表示照片中的單詞的指示對象，例如圖中的“飛盤”“狗”“指示牌”等等。

對於圖中不同的場景，輸出的結果有“一個女人在公園裡扔飛盤”“一隻小狗站在地板上”“路上有一個停止標，背景有一座山”等等。這些輸出結果不僅英文句式正確，而且語義也沒有問題。

從語言到句子

語言也是人類特有的能力。動物也有它們自己的溝通方式，但是並沒有像人類一樣有語義的系統。

研究語言方面，我們做的一件事是訓練一個網絡，來預測句子中的下一個詞是什麼。我們希望進入到網絡中，看看每個詞的內部結構可能是什麼樣子，瞭解它是如何做預測的。

這個系統有很多層的網絡，最後做得也很成功。

這個網絡中有10萬個單元，20個層，我們分析了每一個詞背後的活動規律，觀察在10萬維度下，不同詞之間有什麼樣的聯繫，這是超出我們傳統幾何學理解範圍的。

把多維空間中的詞投影到二維平面上，我們可以看到，所有國家的詞都聚集在一起，而首都的詞也都聚集在一個範圍內。

我們試圖建立起國家和首都的矢量關係，比如將俄羅斯和莫斯科對應起來，而當我們把連接挪到意大利時，箭頭自動的就會對應到羅馬。

這不是一個巧合，沒有任何人告知系統這個算法，但是系統自動就開始根據類型進行分組。

雖然它並不知道不同詞彙之間的關係，但是依舊跨越空間維度建立了聯繫，這說明運算系統已經開始涉足到語義的研究中了。

由此大家開始研究文字的嵌入，在多維度的系統中嵌入文字後，就可以藉助系統的學習能力去解決一系列的語義問題。

讓我們震撼的是語言的翻譯，語言翻譯是人工智能的一隻聖盃，因為它依賴於理解句子的能力。

谷歌最新版的翻譯軟件，代表了自然語言翻譯質量的重大飛躍，因為它不再是以詞組為單位進行翻譯，而是升級到了語意完整的句子。

我們現在正在更加深度地分析翻譯網絡狀態內部的進程究竟是什麼樣的，很有可能在未來的某一天，我們不需要藉助語言的學習，就能夠讀懂其他的語言。

這張圖裡體現的是許多不同的句子，每個句子標有不同的顏色，這有點像是一個百萬維度的空間。

我們很難理解這個多維空間下的結構是什麼，但我們發現，這個空間中不斷地有小集群出現，我們把集群放大，可以看到這個系統在訓練不同語種之間的翻譯。

比如我們可以看到，這裡訓練的是英語到韓語和日語之間的翻譯，並沒有訓練日語到韓語的翻譯。

但出人意料的是，如果我們輸入了一句韓語，居然可以得出一句正確的日語句子。

這顛覆了我們對於句法的理解，而且這個過程真的是非常地神祕。

不光是3種語言之間的轉化，把20種語言納入到同一個網絡中，也可以實現這樣的結果。

如此複雜的網絡聯繫，這個網絡是如何做到的呢？

這個網絡系統似乎通過某種方式把所有的語言轉化成了中間語言，中間語言可以在不同語言之間進行更好的轉化。

這對語言學專家來說絕對是非常吃驚的：因為這個網絡可以自己分析出不同語言之間的底層結構。

生成式對抗網絡

翻譯機器能做到的是對輸入的內容進行轉換，繼而進行輸出。但是人類的大腦並不是這樣的工作機制，我們通常會接收多方面的信息，然後進行各種思想活動，甚至通過聯想來生成結果，這是一個本能的過程。

模仿大腦的這種機制，就有了“生成式對抗網絡”，它可以自己產生活動。其實相當於同時存在的兩個卷積網絡，一個是生成卷積網絡，一個是判別卷積網絡。

生成卷積網絡可以通過嘗試欺騙另一個卷積神經網絡來訓練生成優質的圖像樣本，後者必須決定一個輸入的樣本是真實的還是虛假的。

比如說一個網絡根據火山的結構和外觀，自己合成許多火山的圖片，另外一個網絡就會判斷這些圖片的真實性。

由於兩個網絡的緊張對抗，會讓輸出的圖片具有令人難以置信的真實感。以下這些照片都是通過合成得到的。

通過不斷地改變生成式網絡的輸入向量，就有可能逐漸改變圖像，甚至會產生混合效果。

這項技術正在迅速發展，可以想象，經過訓練的新一代對抗網絡，應該有可能直接創造出由已經過世的演員或者是從未存在過的演員出演的電影。

人工智能與未來

2016年，圍棋的衛冕冠軍，中國圍棋選手柯潔認為AlphaGo肯定贏不了他，2017年對戰AlphaGo失敗，他說：“去年我認為AlphaGo贏不了我，是因為我發現它的玩法和人類很像，但是現在，它的玩法就像是神一般，它創造了人類從來沒用過的招數。”

這給我們敲了一個警鐘，人工智能不僅會複製人類的東西，還會生成一些新的東西。

△啤酒瓶彎道

在汽車行業，2008年，無人駕駛汽車就能夠順利地通過“啤酒瓶彎道”；

在幼兒教學過程中，使用機器人能夠吸引孩子們的注意力，照顧到每一個孩子，協助教學。

未來人們不用擔心機器人會取代我們，深度學習會讓人類更智能，我們完全可以與人工智能友好相處。

2013年，奧巴馬推出美國十年的“腦計劃”，要大力推動關於大腦神經網絡的研究。從分子到突觸到神經網絡，瞭解大腦活動的各種複雜機制，繼而轉移到深度學習網絡中，反過來，通過對深度學習網絡的研究來更好地理解人類的各種行為。

我們對大腦的認識目前來看還是非常少的，人的大腦裡沒有任何光線，也沒有傳感器，但是我們在觀測阿爾茲海默症患者腦活動的時候發現，當人什麼都不做的時候，大腦有的區域會自動激活，我們並不知道大腦裡發生了什麼。

我們觀測斑馬魚腦活動時，發現大腦內差不多有8萬多個神經元會同時被激活，這說明動物和人一樣，也在進行思考。但是在沒有傳感器的情況下，它們是怎麼激活的呢？大腦內測量到的信號又該如何去解讀呢？這都是未來“腦計劃”希望解決的問題。

高山夜話

△高山夜話

張宏江：非常感謝特倫斯精彩的介紹，給我們講了很多神經科學和深度學習之間的關係。你的演講中提到人們通過學習大腦的工作模式來給機器賦予計算、思考甚至是決策的能力，但就目前的技術水平而言，我們對大腦的工作機制其實瞭解得非常少，這種情況下，深度學習是怎麼走到現在的？

特倫斯：我們對大腦的知識瞭解很多，知道大腦的每一個分子結構，知道大腦不同組成部分是如何運作的。但是我們還有很多不瞭解的，比如大腦神經網絡是如何互相聯繫，如何產生活動的。因此我們希望發展更多的工具比如計算機，來更進一步地瞭解神經科學這個層面的一些知識。

觀察視覺系統中每個神經元的反應，可以看到神經元是如何一步步傳遞神經信號的，現在通過深度學習，可以複製這個過程。這樣一來，我們就能夠更清楚地瞭解大腦。

但是就像我剛才講到的關於鳥和飛機的例子，雖然飛機是模仿了鳥類造出來的，但是飛機卻做不到像鳥一樣從一個枝頭飛到另外一個枝頭，飛機只能是直線飛行，而有些東西是比飛機更為複雜。

我們學習的是大腦的原理，而不是細節。在多年觀察的基礎上，從現象中抽象出隱含的約束條件，這就是深度學習發展起來的基本方法。

張宏江：您剛才提到了有許多數學家開始對神經網絡進行了數學分析，這其實是理論滯後實踐。從科學發展的進程來看，尤其是物理學和電子學的發展過程中是理論領先，從而指導了實驗和設計，但在深度學習的發展上似乎這個過程正好相反。

特倫斯：舉個例子來說，250年前，瓦特發明了蒸汽機，他當時是運用直覺做到了這一點，並沒有使用熱力學。實際上熱力學理論很早就已經存在了，後來被用來不斷地該進蒸汽機。可以說，它助力了物理學的發展，開啟了工業革命。

另外一個反面的例子就是約瑟夫·傅里葉，大概250-240年前，他一直嘗試著解熱力方程，並且發現，如果使用一系列展開式，每一項都是一個解，把每項係數相加，就能得到解此方程式的函數。

因此他將自己的發現寫了出來，並向法國數學期刊雜誌投稿，但遭到了數學家的拒絕，認為這不是數學函數。其實現在我們知道，這是一種很好的分析方法，這是數學上非常輝煌的方法，兩百多年來，這種方法已經應用到了很多問題上。

張宏江：我比較驚訝的是，AI已經發展近30年，有那麼多的數學家在研究這個，他們也有非常好的數學工具，為什麼他們沒有提出深度學習這個算法呢？

特倫斯：你知道，人都有思維障礙的。在深度學習方面，一個非常有影響的人的反對，可能會影響幾代科學家的工作。

張宏江：可以說，深度學習是人工智能的里程碑，2018年圖靈獎授予深度學習的專家也印證了這一點。深度學習解決了過去很多無法解決的問題。你覺得這意味著一個輝煌時代的結束，另外一個新的時代的開端嗎？還是說，人工智能有可能會迎來一個10-20年的黑暗時代呢？

特倫斯：我覺得，我們的理論發展其實停滯了多年，我們的發展模式是起起伏伏的，但是我可以斷定，不會永遠都這樣的。

張宏江：1979年你預測了神經網絡和AI將會在2015年有突破性的發展，那個時候你是完全依據摩爾定律預測到了2015年計算機能夠滿足神經網路的計算需求。

現實中情況是，2015年中國的孫劍研究團隊開發的ResNet在圖像識別（ImageNet）競賽中超過了人類的識別能力。你預測非常準確，很了不起！

現在我們看到越來越多的人工智能的應用，人工智能在很多應用中可以說已經戰勝了人類。那麼，你能預測一下未來10年裡，人工智能會對人們的生活帶來什麼樣的改變嗎？

特倫斯：在此之前我想先問你一個問題，上世紀90年代，互聯網問世，那是它只用于軍事和學術目的。直到一款叫做Mosaic的瀏覽器出現，互聯網商業化才開始了。當你第一次用瀏覽器的時候，你能夠預測到瀏覽器會對我們生活的方方面面都產生影響嗎？

張宏江：我肯定不會預測到，但是我可能會預測圖書館會消失，因為我們可以在網上獲得各種各樣的知識，所以我覺得圖書館可能會消失，但是我預測錯了，現在圖書館還在。

特倫斯：確實，當有新技術出現的時候，人們是無法想象他將來會如何使用這項技術，甚至是連發明人自己都想象不到。

最早的電視機發明出來的時候，當時記者就問電視的發明者：電視將來要怎麼用？對世界的影響是什麼？他當時說會給電話帶來革命性的變化。

但其實電視的影響力遠不止如此，所以你看，其實這是沒有辦法做預測的。

張宏江：在中國，在北京，有很多芯片生產商。您覺得人工智能芯片會大爆發嗎？人工智能芯片和普通芯片有什麼區別？

特倫斯：人工智能芯片可以優化神經運算系統。現在我們的芯片設計已經非常靈活，可以做集群分析和樹分析等等，機器學習中的許多其他算法也可以用作特殊的目的。

現在很多芯片存在最大的問題是能耗高，如果能把能耗降低哪怕10%，也能節省不少成本。所以新一代的芯片主要關注在能耗方面。

人腦的神經元是非數字的，每秒鐘都在進行大量的運算，但是耗能卻非常低，還能實現異步運算，這一點是芯片遠遠比不上的。

加州理工學院Carver Mead是人工智能芯片的先驅者之一，他利用模擬電路模仿生物神經系統結構。新一代的人工智能芯片價格便宜，耗能逐漸降低，只需要8位精度，不需要64位，不需要整體的時鐘，而且也能實現異步運算的功能。

現在有上千家的公司在做這個事情，針對個性化的需求，開發出非常多的應用程序，並且幾乎每天都在擴張。所以在未來，英偉達的人工智能芯片的市場前景應該不樂觀。

張宏江：你覺得未來會有類腦芯片的出現嗎？

特倫斯：不用等到未來，類腦芯片或者說是強化芯片就要出現了，很多公司已經開始在做這些事情了。

我們不能用錯誤的問題來訓練強化芯片，所以我實驗室的一個研究生做了這麼一個實驗，在反向傳播算法中，用強化單元去替換任何一個連續網絡，然後進行擴展，使它在網絡中的所有權重都增加一個定量。

實驗結果表明，經過訓練後，分級網絡幾乎無法辨別強化網絡的性能區別，這意味著我們可以交換更加複雜的多層網絡，然後用一定的能量來提高其性能。

張宏江：剛才講了很多圖靈獎的情況，您和獲獎者Hinton有過多年的合作，你對他了解嗎？能不能講講他有些什麼讓你難忘的特質？

特倫斯：他是我最好的朋友，他與中國很有淵源。我們共同發明了玻爾茲曼機，我們建立了能夠跟人腦的逐層分析能力進行關聯的機制。我們當時深信已經把人腦的機制弄明白了，但是當時我們意識到計算能力遠遠不夠，所以需要很長時間來繼續推進。

所以，我們當時我們各自面臨著一個重要的職業決定。我做出的判斷是我等不到2015年了。所以我當時就決定，我要進入到運算神經科學這個領域中，而且也把運算的技術帶到了這個領域。

Hinton選擇的另外一條路，他很執著，他要讓玻爾磁曼機運行下去，所以他接下來的30年都在不斷地探索，他想到了一個絕妙的注意，就是在沒有監督學習的情況下，把網絡一層一層地建立起來。

圖靈獎也恰恰獎勵了一門心思堅持做研究的研究人員，這對於普通人來說是非常難的。回顧一下所有那些取得巨大進步的偉大科學家，包括牛頓，他們都是非常專注地進行研究的學者。發現了問題之後不輕易放棄，持續地一年又一年地去研究這個問題，直到找到問題的答案，這就是Hinton擁有的一個特質。

在那30年中，每隔幾年我都會收到他的電話，每次第一句話都是“我想我已經搞明白了大腦是怎麼工作了”，每一次，他都會告訴我一個絕妙地改進神經網絡模型的新方案。

張宏江：有很多人對深度學習有一些批評，您之前就已經預測了2015年會迎來深度學習的突破。

但是這麼多年當中，時至今日，我們依然會有同樣的疑問，我們人的學習非常快速，不需要那麼多海量的數據，從少量的例子就可以進行學習。

但是今天有了強大的計算能力，深度學習網絡卻依然需要這麼多海量數據，有人在質疑，其實機器學習並不是真的模仿了人腦？

特倫斯：這是一個非常有趣的領域，目前正在進行大量的研究。監督學習之所以占主導地位，是因為它非常高效。

但如果與人類的嬰兒做對比的話，你就會發現，嬰兒其實也花了好幾年的時間在不斷地學習、體驗，每秒鐘嬰兒的大腦內會有近百萬個突觸在同時進行信號的傳遞。這是一個漫長的過程，在這個過程中，其實嬰兒接受的就是大量沒有標記的數據的訓練。

在嬰兒出生的第一年，他們的行為和動作都是非常不協調的，這說明一般的對抗網絡是沒有監督、沒有標籤的。

但是嬰兒可以進行自我監督學習，對外界世界反覆做出測試並接收反饋來提高神經網絡的性能，也就是強化學習。此外，嬰兒還會通過模仿學習來獲得技能。對比來說，其實嬰兒接收到的數據更多更大。

高山大學（GASA）2020級招生啟動，點擊閱讀原文了解更多，與全球科學家一起探索科學的樂趣。