如何看待華為徐直軍表示AI就是暴力計算?強大的算力能在哪些方面體現?

4 個回答
皮皮鲁的AI星球
2019-09-08

現階段的人工智能主要依賴於深度神經網絡(Deep Neural Network,DNN)技術,深度神經網絡技術非常依賴芯片提供的算力、優質的數據集和深度神經網絡的方法。單塊芯片的算力是基礎,多機器多芯片組成的計算集群能提供超強算力。

深度神經網絡

深度神經網絡,是一種機器學習技術,又被成為深度學習。它主要是對已有數據集的某種模式進行學習,得到一個模型,然後就可以用模型來預測新的數據。例如,對一組圖像數據進行學習後,再給定一個新的帶有狗的圖像,深度學習模型可以將這張圖片識別為“狗”,如下圖所示。深度學習模擬了生物的神經元面對外部刺激產生應激的機制,因此被冠以神經網絡的名字。

現階段的人工智能主要依賴於深度神經網絡(Deep Neural Network,DNN)技術,深度神經網絡技術非常依賴芯片提供的算力、優質的數據集和深度神經網絡的方法。單塊芯片的算力是基礎,多機器多芯片組成的計算集群能提供超強算力。

深度神經網絡

深度神經網絡,是一種機器學習技術,又被成為深度學習。它主要是對已有數據集的某種模式進行學習,得到一個模型,然後就可以用模型來預測新的數據。例如,對一組圖像數據進行學習後,再給定一個新的帶有狗的圖像,深度學習模型可以將這張圖片識別為“狗”,如下圖所示。深度學習模擬了生物的神經元面對外部刺激產生應激的機制,因此被冠以神經網絡的名字。

整個深度學習模型是通過學習得到的,在學習的開始,模型並不能很好地預測一張圖片的內容是什麼,幸運的是,數據集的這張圖片上標註(Label)了它是“貓”還是“狗”。深度學習模型一般隨機初始化,這時候模型還不能預測一張圖是什麼內容,學習的過程就是不斷逼近標註的過程,一般採用梯度下降(Gradient Descent)的方法,讓模型從一個初始權重(Initial weight)慢慢逼近到最優效果,就可以“學到”數據集中特有的模式。這個學習的過程可以理解成一個暴力計算的過程,當數據量越大,計算機學習到得越準確,也越依賴算力。

現階段的人工智能主要依賴於深度神經網絡(Deep Neural Network,DNN)技術,深度神經網絡技術非常依賴芯片提供的算力、優質的數據集和深度神經網絡的方法。單塊芯片的算力是基礎,多機器多芯片組成的計算集群能提供超強算力。

深度神經網絡

深度神經網絡,是一種機器學習技術,又被成為深度學習。它主要是對已有數據集的某種模式進行學習,得到一個模型,然後就可以用模型來預測新的數據。例如,對一組圖像數據進行學習後,再給定一個新的帶有狗的圖像,深度學習模型可以將這張圖片識別為“狗”,如下圖所示。深度學習模擬了生物的神經元面對外部刺激產生應激的機制,因此被冠以神經網絡的名字。

整個深度學習模型是通過學習得到的,在學習的開始,模型並不能很好地預測一張圖片的內容是什麼,幸運的是,數據集的這張圖片上標註(Label)了它是“貓”還是“狗”。深度學習模型一般隨機初始化,這時候模型還不能預測一張圖是什麼內容,學習的過程就是不斷逼近標註的過程,一般採用梯度下降(Gradient Descent)的方法,讓模型從一個初始權重(Initial weight)慢慢逼近到最優效果,就可以“學到”數據集中特有的模式。這個學習的過程可以理解成一個暴力計算的過程,當數據量越大,計算機學習到得越準確,也越依賴算力。

神經網絡成功的幾大因素

神經網絡的思想其實在60年代就已經被提出,但是鑑於當年計算機的處理能力有限,無法存儲和計算大規模數據,因此神經網絡並沒有取得像現在這樣的顯著效果。進入20世紀,神經網絡的發展出現了轉機,幾個關鍵的因素包括:

  • 美國芯片公司英偉達(NVidia)的顯卡(GPU)在並行計算上比CPU有優勢,推出了一種通用的GPU編程接口CUDA,研發人員可以使用CUDA加速計算程序,得到成千上萬被的速度提升。關於GPU的介紹可以參考我的頭條文章:https://www.toutiao.com/i6720379288006165003/
  • 華裔科學家李飛飛主導的ImageNet數據集項目為全世界研究者提供了一個圖像視覺領域的圖片庫,並創立了基於此數據集的年度挑戰賽。ImageNet數據集有一千五百萬張高像素的圖片,每張圖片都標註了屬於哪個分類,共計22,000個圖片分類。在此之前,並沒有這樣大規模的標註數據集。
  • 2012年,深度學習之父Geoffrey Hinton和他的學生提出了一種深度神經網絡結構,在ImageNet挑戰賽中以超出第二名41%的成績奪魁。在他們發佈的論文中提到,他們利用了ImageNet提供的數據集,並使用GPU加速,以取得這樣顛覆式的創新。這項創新被廣泛認為是當前深度學習革命的開始,揭開了人工智能時代的序幕。

可見,深度學習的發展離不開芯片提供的算力、優質的數據集和深度神經網絡的方法。大數據時代,我們掌握了收集、存儲和計算大規模數據的方法,深度神經網絡開始大放異彩。

算力

算力在深度學習中起到了基礎性的作用,它能讓深度學習的暴力求解時間縮短千百倍。算力由芯片提供,比如CPU、GPU、FPGA等各類芯片。以GPU為例,個人桌面電腦CPU只有2到8個CPU核心,數據中心的服務器上也只有20到40個左右CPU核心,GPU卻有上千個核心。與CPU的核心不同,GPU的核心只能專注於某些特定的任務。有人把CPU比作大學教授,把GPU比作一個學校幾千個小學生:同樣是做加減法,幾千個小學生所能做的計算,遠比幾十個大學教授要多得多。俗話說,三個臭皮匠,頂一個諸葛亮。大學教授的知識結構和個人能力遠強於小學生,能獨立解決複雜問題,小學生的知識有限,只能進行簡單的計算。

現階段的人工智能主要依賴於深度神經網絡(Deep Neural Network,DNN)技術,深度神經網絡技術非常依賴芯片提供的算力、優質的數據集和深度神經網絡的方法。單塊芯片的算力是基礎,多機器多芯片組成的計算集群能提供超強算力。

深度神經網絡

深度神經網絡,是一種機器學習技術,又被成為深度學習。它主要是對已有數據集的某種模式進行學習,得到一個模型,然後就可以用模型來預測新的數據。例如,對一組圖像數據進行學習後,再給定一個新的帶有狗的圖像,深度學習模型可以將這張圖片識別為“狗”,如下圖所示。深度學習模擬了生物的神經元面對外部刺激產生應激的機制,因此被冠以神經網絡的名字。

整個深度學習模型是通過學習得到的,在學習的開始,模型並不能很好地預測一張圖片的內容是什麼,幸運的是,數據集的這張圖片上標註(Label)了它是“貓”還是“狗”。深度學習模型一般隨機初始化,這時候模型還不能預測一張圖是什麼內容,學習的過程就是不斷逼近標註的過程,一般採用梯度下降(Gradient Descent)的方法,讓模型從一個初始權重(Initial weight)慢慢逼近到最優效果,就可以“學到”數據集中特有的模式。這個學習的過程可以理解成一個暴力計算的過程,當數據量越大,計算機學習到得越準確,也越依賴算力。

神經網絡成功的幾大因素

神經網絡的思想其實在60年代就已經被提出,但是鑑於當年計算機的處理能力有限,無法存儲和計算大規模數據,因此神經網絡並沒有取得像現在這樣的顯著效果。進入20世紀,神經網絡的發展出現了轉機,幾個關鍵的因素包括:

  • 美國芯片公司英偉達(NVidia)的顯卡(GPU)在並行計算上比CPU有優勢,推出了一種通用的GPU編程接口CUDA,研發人員可以使用CUDA加速計算程序,得到成千上萬被的速度提升。關於GPU的介紹可以參考我的頭條文章:https://www.toutiao.com/i6720379288006165003/
  • 華裔科學家李飛飛主導的ImageNet數據集項目為全世界研究者提供了一個圖像視覺領域的圖片庫,並創立了基於此數據集的年度挑戰賽。ImageNet數據集有一千五百萬張高像素的圖片,每張圖片都標註了屬於哪個分類,共計22,000個圖片分類。在此之前,並沒有這樣大規模的標註數據集。
  • 2012年,深度學習之父Geoffrey Hinton和他的學生提出了一種深度神經網絡結構,在ImageNet挑戰賽中以超出第二名41%的成績奪魁。在他們發佈的論文中提到,他們利用了ImageNet提供的數據集,並使用GPU加速,以取得這樣顛覆式的創新。這項創新被廣泛認為是當前深度學習革命的開始,揭開了人工智能時代的序幕。

可見,深度學習的發展離不開芯片提供的算力、優質的數據集和深度神經網絡的方法。大數據時代,我們掌握了收集、存儲和計算大規模數據的方法,深度神經網絡開始大放異彩。

算力

算力在深度學習中起到了基礎性的作用,它能讓深度學習的暴力求解時間縮短千百倍。算力由芯片提供,比如CPU、GPU、FPGA等各類芯片。以GPU為例,個人桌面電腦CPU只有2到8個CPU核心,數據中心的服務器上也只有20到40個左右CPU核心,GPU卻有上千個核心。與CPU的核心不同,GPU的核心只能專注於某些特定的任務。有人把CPU比作大學教授,把GPU比作一個學校幾千個小學生:同樣是做加減法,幾千個小學生所能做的計算,遠比幾十個大學教授要多得多。俗話說,三個臭皮匠,頂一個諸葛亮。大學教授的知識結構和個人能力遠強於小學生,能獨立解決複雜問題,小學生的知識有限,只能進行簡單的計算。

上圖為當前最強GPU英偉達V100的設計圖,圖中綠色部分密密麻麻的計算核心,共計5120個核心,一塊這樣的GPU售價7萬人民幣。華為8月剛剛發佈了昇騰910芯片,直接對標這款V100,華為徐直軍稱華為昇騰910的算力完勝V100。

在最頂尖的人工智能場景,算力都不是單個芯片提供的,而是有一大批高性能的計算機節點組成的集群來提供的。將整個計算任務劃分成很小的任務,每個節點處理一部分,最後將結果彙總。

比如Google 2018年推出的超越人類閱讀理解能力的深度學習模型BERT,英偉達宣稱,使用92個計算機節點組成的的共計1472塊V100 顯卡的大型集群來學習一個BERT模型,需要53分鐘。這個集群價值近億元人民幣,這樣的算力不可不謂之恐怖。詳情:

https://devblogs.nvidia.com/training-bert-with-gpus/

小結

算力是當前人工智能技術的基礎,數據量越大,對結果要求越精確,越需要更高性能的算力支持。算力一般由多個計算機節點組成的高性能集群提供。

周小鱼fish
2019-09-08

計算能力由三部分構成:硬件,軟件,及軟硬件的匹配性。

硬件最直觀的就是超級計算機,世界有一個500強的排名,每年發佈時都引起很大轟動,當然更底層的還有芯片,硬件架構,數據存儲和傳輸等。

軟件簡單說就是算法,各種滿足功能需要的成熟軟件。人工智能主要是算法的開發和軟件化(當然也需要更適合的硬件)。

軟硬件的匹配是最重要的,不匹配就會出現一方的閒置,無法發揮最大能力。

硬件能力強就好比是一個人,身體很強壯,有力量,但不一定能把有些事做好。有的事用蠻力可以,但有些事卻需要技巧和智慧,比如破解密碼,如果死算,再多的計算資源都不夠用,看看《模擬代碼》這個電影就知道了。人工智能也是這樣,需要處理大數據,需要機器學習,因此算法非常重要,好的算法能起到四兩撥千斤的作用,大幅度降低對計算機的計算量。軟硬件匹配是相對計算需求而言的,好比一個人,總有擅長的,也有不擅長的,計算機也是這樣,要根據需求選擇設計硬件和軟件。

最後,對於人工智能,還需要高速的傳輸,這樣才能更好的商業化,使萬物互聯,每個人與企業互聯。終端不需要太強的計算資源,而享受高速計算的便利。

Adam刘涛韬
2019-09-07

未來伴隨著技術和社會的發展,尤其是現在的現實傳統企業都要在線化,數據化,然後實現高效的信息化與最後智能化與自動化!你想如此龐大的數據量,必然需要強大的算力,去進行處理!你看阿里或者騰訊,成立的雲事業部,大數據處理中心全球的佈局。都是很大的處理中心,包括雙十一十二的淘寶等節日的大量銷售額,都需要很強大的支撐系統,你的在線能力,協作能力,然後信息及時處理能力!未來的萬物互聯以及例如智慧城市等,強大的暴力算力,絕對是不可或缺的!


未來伴隨著技術和社會的發展,尤其是現在的現實傳統企業都要在線化,數據化,然後實現高效的信息化與最後智能化與自動化!你想如此龐大的數據量,必然需要強大的算力,去進行處理!你看阿里或者騰訊,成立的雲事業部,大數據處理中心全球的佈局。都是很大的處理中心,包括雙十一十二的淘寶等節日的大量銷售額,都需要很強大的支撐系統,你的在線能力,協作能力,然後信息及時處理能力!未來的萬物互聯以及例如智慧城市等,強大的暴力算力,絕對是不可或缺的!



未來伴隨著技術和社會的發展,尤其是現在的現實傳統企業都要在線化,數據化,然後實現高效的信息化與最後智能化與自動化!你想如此龐大的數據量,必然需要強大的算力,去進行處理!你看阿里或者騰訊,成立的雲事業部,大數據處理中心全球的佈局。都是很大的處理中心,包括雙十一十二的淘寶等節日的大量銷售額,都需要很強大的支撐系統,你的在線能力,協作能力,然後信息及時處理能力!未來的萬物互聯以及例如智慧城市等,強大的暴力算力,絕對是不可或缺的!




未來伴隨著技術和社會的發展,尤其是現在的現實傳統企業都要在線化,數據化,然後實現高效的信息化與最後智能化與自動化!你想如此龐大的數據量,必然需要強大的算力,去進行處理!你看阿里或者騰訊,成立的雲事業部,大數據處理中心全球的佈局。都是很大的處理中心,包括雙十一十二的淘寶等節日的大量銷售額,都需要很強大的支撐系統,你的在線能力,協作能力,然後信息及時處理能力!未來的萬物互聯以及例如智慧城市等,強大的暴力算力,絕對是不可或缺的!




吐槽大师傅
2019-09-07

我想了半天,現在的人工智能的確就是算力的比拼,誰在將來佔據最多的計算能力,誰就能在ai上取得最大的優勢,因為算法的發展和效能已經接近一個瓶頸。

以後要想做這個行業,沒有強大的運算能力做支撐是不可想象的。

行業革命的前夜已經到來,這個行業我們和美國基本處於同一水平,各自之間互有優勢。新時代的增長點就在這裡了。

相關推薦

推薦中...