'窺探當今AI芯片中的類腦模型'

來源：腦人言

撰文丨鄧 磊（加州大學-聖塔芭芭拉分校UCSB 博士後）

責編丨高茂森 Soma

排版丨夏獺

科學研究的動機，並非僅僅是出於能看到多酷炫的應用，而是因為我們尚有諸多未知世界需要探尋，這是一切應用的前提。

AI芯片如火如荼

AI芯片是當今人工智能熱潮中不可或缺的一個名詞，且受國際局勢影響愈加受到重視。摩爾定律難以為繼，通用處理器的性能提升速度大為減緩，在晶體管物理微縮和計算體系架構改進帶來的收益之爭中，後者漸處上風。

在此背景下，學術界和工業界紛紛將視野轉向針對特定領域設計高性能的專用芯片，擬將架構設計發揮到極致。

AI芯片作為最為典型的領域專用芯片代表，受到國內外研發單位的高度關注。國外有谷歌、蘋果、英特爾、IBM、英偉達等巨頭領銜，國內也有寒武紀、地平線、深鑑、華為、阿里等公司響應，最近清華大學的天機芯更是登上了Nature雜誌的封面[1]，其形勢可謂如日中天。

然而，AI芯片中所謂的“智能”究竟源自於哪些模型，又和我們的大腦有何關係，他們的過去和未來將會怎樣，本文帶你一探究竟。

人工神經網絡

基本模型

機器學習是目前人工智能模型中最卓有成效的一個分支，而深度學習又是當今機器學習的寵兒，其以人工神經網絡（Artificial Neural Network, ANN）為主要模型。

ANN由大量神經元（Neuron）通過突觸（synapse）連接而成，從輸入到輸出呈現層級結構，當層數較多時則被稱為深度神經網絡（Deep Neural Networks）。

圖1 人工神經元示意圖

每個神經元的基本結構如圖1所示，而基本的計算原理為

，其中x

和y

分別為輸入和輸出激活值、

w為突觸連接的權重值、

b為偏置值、

φ為非線性激活函數。

圖2 不同網絡連接拓撲

(a) 全連接神經網絡；(b) 反饋神經網絡；(c)卷積神經網絡。

根據神經元的連接拓撲可以分為全連接神經網絡、卷積神經網絡、反饋神經網絡等，如圖2所示。

相比於全連接神經網絡，卷積神經網絡通過引入二維特徵圖與突觸核的卷積操作獲得了強大的局部特徵提取能力，被廣泛用於圖像處理領域。

而反饋神經網絡通過引入反饋連接，建立時序動力學模型，被廣泛用於處理語音文本等時序數據。

其實，ANNs模型的建立也是在不同時期中分別借鑑了神經科學的知識：

人工神經網絡的概念以及基本神經元模型於1943年就已提出[2]，這正是試圖模擬腦皮層以神經元網絡形式進行信息處理的體現。

卷積神經網絡的局部感受野是受到大腦視覺系統的啟發。

深度神經網絡的層級構建是源於腦皮層的分層通路。

只不過在深度學習的後續發展中，研究者更加偏重把神經網絡視為一個黑匣，用於擬合從輸入到輸出的複雜映射關係：

只需要給網絡的輸出定義一個收斂目標（目標函數，比如每張圖像的輸出對應到正確的類別）並描述為一個優化問題，然後用梯度下降的方式去更新系統參數主要是突觸權重,使得輸出逐漸逼近想要的結果。

原則上網絡越大，特徵提取的能力就會越強，也就需要越多的數據來訓練網絡更新參數使網絡收斂，因此計算量也大幅增加。

故而，深度學習也被稱為數據和算力驅動的智能。雖然深度學習以解決實際應用為目標而與神經科學漸行漸遠，但近兩年也有科學家試圖在大腦中找到梯度下降的證據和吸收新的腦科學成果[3-8]。

深度學習的騰飛之路

深度學習的崛起也並非一蹴而就，是諸多因素相互促進的結晶。20世紀末到21世紀初很長一段時間內神經網絡方法不被多數人看好，其表現也不如傳統機器學習模型，多虧圖靈獎得主Hinton、LeCun和Bengio三位前輩的堅持，才有了今天的成就。

深度學習的飛速發展主要歸功於大型數據庫的誕生（如ImageNet）、高性能計算平臺（如GPUs）的出現、友好開發軟件的耕耘（如Tensorflow/Pytorch等）和神經網絡模型的改進（如卷積神經網中的VGG/Inception/ResNet/DenseNet），缺一不可。

由於成熟的算法、工具和應用場景，深度學習受到學術界和工業界的一致認可。深度學習加速器也現身各大學術頂會，並受到巨頭公司和創業公司的青睞，這其中就包括研發TPU的谷歌、手機內置神經引擎的蘋果以及國內的寒武紀、地平線、深鑑科技、華為、阿里等，當前主要熱門方向為研製運行ANNs模型的高性能雲計算平臺和低功耗終端器件。

脈衝神經網絡

基本模型

與深度學習不同，神經形態計算（neuromorphic computing）是目前智能模型中的又一大主要分支，它更加註重模擬大腦回路的行為，這裡給大家介紹兩類神經形態模型：脈衝神經網絡（Spiking Neural Network, SNN）和神經動力學網絡（Neural Dynamic Network）。

SNN與ANN主要有兩大不同，其一是採用脈衝編碼—spike code(0/1)，其二是具有豐富的時間動力學。SNN神經元如圖3所示，其模型可簡單描述為：

其中，

(t)為時間步，t

是時間常數，

u為神經元膜電位，

s為神經元的脈衝輸出，

和

分別為神經元靜息電位和重置電位，

為脈衝發放閾值，

表示每個神經元會累加對應突觸輸入脈衝序列中一定時間窗

內的脈衝信號，

用於刻畫時間衰減效應(距離當前時刻越近的脈衝輸入對膜電位影響越大)。

圖3 脈衝神經元示意圖

135編輯器

雖然上述以微分方程為基礎的SNN神經元模型看起來比ANN模型更為複雜，但它已經是最為簡化的SNN模型了，被稱為洩漏積分發放模型(Leaky Integrate and Fire, LIF)[9]，其它更為複雜的模型如Izhikevich[10]和Hodgkin & Huxley[11]僅憑藉現有計算機還難以仿真大規模網絡。

原理上，SNN的時間積分效應可以使得其能夠處理時序問題，尤其是稀疏數據（事實上大腦神經元發放頻率也是非常稀疏的）；其膜電位洩漏和閾值發放效應，進一步使得其能夠具有一定的去噪功能（事實上大腦脈衝信號也具有很多噪音，但大腦仍能正常工作）。

這兩個特性，目前的ANN模型都不具備(反饋神經網絡儘管具備時域處理能力，但與SNN很不相同)。雖然理論上有較大潛力，但由於SNN神經元的多變量時空動力學比較複雜，而脈衝發放活動又不可導，導致其無法使用具有全局性的梯度下降算法進行學習。

135編輯器

在相當長一段時間裡，其主要的學習規則都是非監督的腦啟發STDP(spike timing dependent plasticity)規則[12]，僅利用突觸兩端神經元的局部脈衝響應來更新突觸權重以滿足學習目標。

雖然STDP具有一定的生物基礎，但它太過於局部化，難以獲得類似梯度下降算法的全局優化能力，導致其在諸多應用中表現差於ANN模型。

直到最近三年，才有研究者通過將預先採用梯度下降算法訓練好的ANN模型轉換為其SNN版本[13,14]，或者通過對脈衝發放函數進行導數逼近，進而直接計算每個時刻膜電位和脈衝活動的梯度以實現基於梯度下降的有監督算法學習[15,16]，這些努力逐漸使得SNN的應用性能接近目前的ANN模型。

爭議叢生但未來可期

支持SNN的器件通常稱為神經形態器件（如歐洲的SpiNNaker[17]和DYNAP[18]，IBM的TrueNorth[19]，Intel的Loihi[20]），其研究的動機主要是因為SNN的類腦特性使其更有希望通過構建大規模系統獲得類腦智能。

不過從應用角度出發，目前的神經形態器件大多隻能體現低功耗的特性，這是由於SNN神經元的輸入輸出信號為二值脈衝的緣故，可以去除輸入和突觸權重運算中的笨重乘法，再加之脈衝活動非常稀疏且允許事件驅動的異步電路設計。

而在功能方面，SNN所表現出的性能尚不能與深度學習匹敵，這也是工業界對神經形態方案的熱情有所消退甚至持懷疑和觀望態度的原因。

135編輯器

但筆者認為，目前的神經形態計算還有很大的提升空間，未來仍有可期：

一方面，深度學習的進步是數據、算力、軟件和模型共同進步的結果，非一日之功，而神經形態計算在上述優化上還處於起步階段。

另一方面，理論上SNN具有更豐富的信息響應特性，但其模型優勢距離被充分挖掘還有很長的路要走，究竟什麼任務、什麼信息數據甚至什麼評估標準適合SNN均尚不清晰。

目前的大多數測試基準仍是從ANN中遷移而來，僅僅在圖像數據上和ANN比較識別正確率就判別勝負難免過於狹隘，SNN的專長不應止於此。期待研究者們繼續從各個子領域努力前行，逐步迭代發展。

神經動力學網絡

基本模型

除SNN外，實際上計算神經科學領域的許多神經網絡模型並不是以脈衝形式進行信息編碼的，但保留了膜電位的時間微分動力學，因此這裡稱之為神經動力學網絡（Neural Dynamic Networks）。

這類模型通常用於研究腦回路的響應特性，成果相對分散。這裡給大家介紹比較典型的連續吸引子網絡（Continuous Attractor Neural Network, CANN）[21,22]，其神經元模型可以簡單總結為如下：

其中大多數變量含義與SNN類似。此外，

x為神經元在二維空間中的座標位置（如圖4所示，以二維CANN為例），

為兩個對應位置神經元之間的突觸連接權重，

是神經元發放頻率，

為外部刺激，β

和

k為常數。

可以看到，CANN把SNN中“從膜電位到脈衝信號”的轉換調整為了“從膜電位到發放頻率”的轉換，公式中的除法歸一化體現了大腦中普遍存在的神經元抑制作用，使得發放頻率不會無限增長，整個系統趨於穩定。

135編輯器

在CANN中，突觸權重通常配置為高斯峰形狀，即

，相距越近的神經元連接越強，反之越弱，而α

控制著高斯峰的半徑。如此，在沒有外部刺激的時候，CANN模型的神經元發放頻率響應也呈現穩定的高斯函數形狀，稱為響應波包（Bump），表示網絡的一個吸引子狀態。

CANN不僅有簡潔的形式和特殊的動力學特性，在大腦中也具備生物學基礎：

大腦中頭朝向神經元在空間上沿著一個環分佈構成一維CANN，神經元群活動可以預測頭轉動的趨勢。

海馬中的空間神經元（Place Cell）互相連接構成一個二維CANN，神經元活動的波包可以編碼動物的空間位置，支持大腦的空間導航。

少數動物如蝙蝠的空間定位系統甚至會用到三維CANN。

關於CANN的計算原理、生物基礎和應用場景的更多信息，感興趣的讀者可以參考北京大學吳思教授課題組微信公眾號“吳思Lab計算神經科學及類腦計算”最近發佈的CANN專帖【學術思想】連續吸引子神經網絡：神經信息表達的正則化網絡模型。

"

來源：腦人言

撰文丨鄧 磊（加州大學-聖塔芭芭拉分校UCSB 博士後）

責編丨高茂森 Soma

排版丨夏獺

科學研究的動機，並非僅僅是出於能看到多酷炫的應用，而是因為我們尚有諸多未知世界需要探尋，這是一切應用的前提。

AI芯片如火如荼

AI芯片是當今人工智能熱潮中不可或缺的一個名詞，且受國際局勢影響愈加受到重視。摩爾定律難以為繼，通用處理器的性能提升速度大為減緩，在晶體管物理微縮和計算體系架構改進帶來的收益之爭中，後者漸處上風。

在此背景下，學術界和工業界紛紛將視野轉向針對特定領域設計高性能的專用芯片，擬將架構設計發揮到極致。

AI芯片作為最為典型的領域專用芯片代表，受到國內外研發單位的高度關注。國外有谷歌、蘋果、英特爾、IBM、英偉達等巨頭領銜，國內也有寒武紀、地平線、深鑑、華為、阿里等公司響應，最近清華大學的天機芯更是登上了Nature雜誌的封面[1]，其形勢可謂如日中天。

然而，AI芯片中所謂的“智能”究竟源自於哪些模型，又和我們的大腦有何關係，他們的過去和未來將會怎樣，本文帶你一探究竟。

人工神經網絡

基本模型

機器學習是目前人工智能模型中最卓有成效的一個分支，而深度學習又是當今機器學習的寵兒，其以人工神經網絡（Artificial Neural Network, ANN）為主要模型。

ANN由大量神經元（Neuron）通過突觸（synapse）連接而成，從輸入到輸出呈現層級結構，當層數較多時則被稱為深度神經網絡（Deep Neural Networks）。

圖1 人工神經元示意圖

每個神經元的基本結構如圖1所示，而基本的計算原理為

，其中x

和y

分別為輸入和輸出激活值、

w為突觸連接的權重值、

b為偏置值、

φ為非線性激活函數。

圖2 不同網絡連接拓撲

(a) 全連接神經網絡；(b) 反饋神經網絡；(c)卷積神經網絡。

根據神經元的連接拓撲可以分為全連接神經網絡、卷積神經網絡、反饋神經網絡等，如圖2所示。

相比於全連接神經網絡，卷積神經網絡通過引入二維特徵圖與突觸核的卷積操作獲得了強大的局部特徵提取能力，被廣泛用於圖像處理領域。

而反饋神經網絡通過引入反饋連接，建立時序動力學模型，被廣泛用於處理語音文本等時序數據。

其實，ANNs模型的建立也是在不同時期中分別借鑑了神經科學的知識：

人工神經網絡的概念以及基本神經元模型於1943年就已提出[2]，這正是試圖模擬腦皮層以神經元網絡形式進行信息處理的體現。

卷積神經網絡的局部感受野是受到大腦視覺系統的啟發。

深度神經網絡的層級構建是源於腦皮層的分層通路。

只不過在深度學習的後續發展中，研究者更加偏重把神經網絡視為一個黑匣，用於擬合從輸入到輸出的複雜映射關係：

只需要給網絡的輸出定義一個收斂目標（目標函數，比如每張圖像的輸出對應到正確的類別）並描述為一個優化問題，然後用梯度下降的方式去更新系統參數主要是突觸權重,使得輸出逐漸逼近想要的結果。

原則上網絡越大，特徵提取的能力就會越強，也就需要越多的數據來訓練網絡更新參數使網絡收斂，因此計算量也大幅增加。

故而，深度學習也被稱為數據和算力驅動的智能。雖然深度學習以解決實際應用為目標而與神經科學漸行漸遠，但近兩年也有科學家試圖在大腦中找到梯度下降的證據和吸收新的腦科學成果[3-8]。

深度學習的騰飛之路

深度學習的崛起也並非一蹴而就，是諸多因素相互促進的結晶。20世紀末到21世紀初很長一段時間內神經網絡方法不被多數人看好，其表現也不如傳統機器學習模型，多虧圖靈獎得主Hinton、LeCun和Bengio三位前輩的堅持，才有了今天的成就。

深度學習的飛速發展主要歸功於大型數據庫的誕生（如ImageNet）、高性能計算平臺（如GPUs）的出現、友好開發軟件的耕耘（如Tensorflow/Pytorch等）和神經網絡模型的改進（如卷積神經網中的VGG/Inception/ResNet/DenseNet），缺一不可。

由於成熟的算法、工具和應用場景，深度學習受到學術界和工業界的一致認可。深度學習加速器也現身各大學術頂會，並受到巨頭公司和創業公司的青睞，這其中就包括研發TPU的谷歌、手機內置神經引擎的蘋果以及國內的寒武紀、地平線、深鑑科技、華為、阿里等，當前主要熱門方向為研製運行ANNs模型的高性能雲計算平臺和低功耗終端器件。

脈衝神經網絡

基本模型

與深度學習不同，神經形態計算（neuromorphic computing）是目前智能模型中的又一大主要分支，它更加註重模擬大腦回路的行為，這裡給大家介紹兩類神經形態模型：脈衝神經網絡（Spiking Neural Network, SNN）和神經動力學網絡（Neural Dynamic Network）。

SNN與ANN主要有兩大不同，其一是採用脈衝編碼—spike code(0/1)，其二是具有豐富的時間動力學。SNN神經元如圖3所示，其模型可簡單描述為：

其中，

(t)為時間步，t

是時間常數，

u為神經元膜電位，

s為神經元的脈衝輸出，

和

分別為神經元靜息電位和重置電位，

為脈衝發放閾值，

表示每個神經元會累加對應突觸輸入脈衝序列中一定時間窗

內的脈衝信號，

用於刻畫時間衰減效應(距離當前時刻越近的脈衝輸入對膜電位影響越大)。

圖3 脈衝神經元示意圖

135編輯器

雖然上述以微分方程為基礎的SNN神經元模型看起來比ANN模型更為複雜，但它已經是最為簡化的SNN模型了，被稱為洩漏積分發放模型(Leaky Integrate and Fire, LIF)[9]，其它更為複雜的模型如Izhikevich[10]和Hodgkin & Huxley[11]僅憑藉現有計算機還難以仿真大規模網絡。

原理上，SNN的時間積分效應可以使得其能夠處理時序問題，尤其是稀疏數據（事實上大腦神經元發放頻率也是非常稀疏的）；其膜電位洩漏和閾值發放效應，進一步使得其能夠具有一定的去噪功能（事實上大腦脈衝信號也具有很多噪音，但大腦仍能正常工作）。

這兩個特性，目前的ANN模型都不具備(反饋神經網絡儘管具備時域處理能力，但與SNN很不相同)。雖然理論上有較大潛力，但由於SNN神經元的多變量時空動力學比較複雜，而脈衝發放活動又不可導，導致其無法使用具有全局性的梯度下降算法進行學習。

135編輯器

在相當長一段時間裡，其主要的學習規則都是非監督的腦啟發STDP(spike timing dependent plasticity)規則[12]，僅利用突觸兩端神經元的局部脈衝響應來更新突觸權重以滿足學習目標。

雖然STDP具有一定的生物基礎，但它太過於局部化，難以獲得類似梯度下降算法的全局優化能力，導致其在諸多應用中表現差於ANN模型。

直到最近三年，才有研究者通過將預先採用梯度下降算法訓練好的ANN模型轉換為其SNN版本[13,14]，或者通過對脈衝發放函數進行導數逼近，進而直接計算每個時刻膜電位和脈衝活動的梯度以實現基於梯度下降的有監督算法學習[15,16]，這些努力逐漸使得SNN的應用性能接近目前的ANN模型。

爭議叢生但未來可期

支持SNN的器件通常稱為神經形態器件（如歐洲的SpiNNaker[17]和DYNAP[18]，IBM的TrueNorth[19]，Intel的Loihi[20]），其研究的動機主要是因為SNN的類腦特性使其更有希望通過構建大規模系統獲得類腦智能。

不過從應用角度出發，目前的神經形態器件大多隻能體現低功耗的特性，這是由於SNN神經元的輸入輸出信號為二值脈衝的緣故，可以去除輸入和突觸權重運算中的笨重乘法，再加之脈衝活動非常稀疏且允許事件驅動的異步電路設計。

而在功能方面，SNN所表現出的性能尚不能與深度學習匹敵，這也是工業界對神經形態方案的熱情有所消退甚至持懷疑和觀望態度的原因。

135編輯器

但筆者認為，目前的神經形態計算還有很大的提升空間，未來仍有可期：

一方面，深度學習的進步是數據、算力、軟件和模型共同進步的結果，非一日之功，而神經形態計算在上述優化上還處於起步階段。

另一方面，理論上SNN具有更豐富的信息響應特性，但其模型優勢距離被充分挖掘還有很長的路要走，究竟什麼任務、什麼信息數據甚至什麼評估標準適合SNN均尚不清晰。

目前的大多數測試基準仍是從ANN中遷移而來，僅僅在圖像數據上和ANN比較識別正確率就判別勝負難免過於狹隘，SNN的專長不應止於此。期待研究者們繼續從各個子領域努力前行，逐步迭代發展。

神經動力學網絡

基本模型

除SNN外，實際上計算神經科學領域的許多神經網絡模型並不是以脈衝形式進行信息編碼的，但保留了膜電位的時間微分動力學，因此這裡稱之為神經動力學網絡（Neural Dynamic Networks）。

這類模型通常用於研究腦回路的響應特性，成果相對分散。這裡給大家介紹比較典型的連續吸引子網絡（Continuous Attractor Neural Network, CANN）[21,22]，其神經元模型可以簡單總結為如下：

其中大多數變量含義與SNN類似。此外，

x為神經元在二維空間中的座標位置（如圖4所示，以二維CANN為例），

為兩個對應位置神經元之間的突觸連接權重，

是神經元發放頻率，

為外部刺激，β

和

k為常數。

可以看到，CANN把SNN中“從膜電位到脈衝信號”的轉換調整為了“從膜電位到發放頻率”的轉換，公式中的除法歸一化體現了大腦中普遍存在的神經元抑制作用，使得發放頻率不會無限增長，整個系統趨於穩定。

135編輯器

在CANN中，突觸權重通常配置為高斯峰形狀，即

，相距越近的神經元連接越強，反之越弱，而α

控制著高斯峰的半徑。如此，在沒有外部刺激的時候，CANN模型的神經元發放頻率響應也呈現穩定的高斯函數形狀，稱為響應波包（Bump），表示網絡的一個吸引子狀態。

CANN不僅有簡潔的形式和特殊的動力學特性，在大腦中也具備生物學基礎：

大腦中頭朝向神經元在空間上沿著一個環分佈構成一維CANN，神經元群活動可以預測頭轉動的趨勢。

海馬中的空間神經元（Place Cell）互相連接構成一個二維CANN，神經元活動的波包可以編碼動物的空間位置，支持大腦的空間導航。

少數動物如蝙蝠的空間定位系統甚至會用到三維CANN。

關於CANN的計算原理、生物基礎和應用場景的更多信息，感興趣的讀者可以參考北京大學吳思教授課題組微信公眾號“吳思Lab計算神經科學及類腦計算”最近發佈的CANN專帖【學術思想】連續吸引子神經網絡：神經信息表達的正則化網絡模型。

"

來源：腦人言

撰文丨鄧 磊（加州大學-聖塔芭芭拉分校UCSB 博士後）

責編丨高茂森 Soma

排版丨夏獺

科學研究的動機，並非僅僅是出於能看到多酷炫的應用，而是因為我們尚有諸多未知世界需要探尋，這是一切應用的前提。

AI芯片如火如荼

AI芯片是當今人工智能熱潮中不可或缺的一個名詞，且受國際局勢影響愈加受到重視。摩爾定律難以為繼，通用處理器的性能提升速度大為減緩，在晶體管物理微縮和計算體系架構改進帶來的收益之爭中，後者漸處上風。

在此背景下，學術界和工業界紛紛將視野轉向針對特定領域設計高性能的專用芯片，擬將架構設計發揮到極致。

AI芯片作為最為典型的領域專用芯片代表，受到國內外研發單位的高度關注。國外有谷歌、蘋果、英特爾、IBM、英偉達等巨頭領銜，國內也有寒武紀、地平線、深鑑、華為、阿里等公司響應，最近清華大學的天機芯更是登上了Nature雜誌的封面[1]，其形勢可謂如日中天。

然而，AI芯片中所謂的“智能”究竟源自於哪些模型，又和我們的大腦有何關係，他們的過去和未來將會怎樣，本文帶你一探究竟。

人工神經網絡

基本模型

機器學習是目前人工智能模型中最卓有成效的一個分支，而深度學習又是當今機器學習的寵兒，其以人工神經網絡（Artificial Neural Network, ANN）為主要模型。

ANN由大量神經元（Neuron）通過突觸（synapse）連接而成，從輸入到輸出呈現層級結構，當層數較多時則被稱為深度神經網絡（Deep Neural Networks）。

圖1 人工神經元示意圖

每個神經元的基本結構如圖1所示，而基本的計算原理為

，其中x

和y

分別為輸入和輸出激活值、

w為突觸連接的權重值、

b為偏置值、

φ為非線性激活函數。

圖2 不同網絡連接拓撲

(a) 全連接神經網絡；(b) 反饋神經網絡；(c)卷積神經網絡。

根據神經元的連接拓撲可以分為全連接神經網絡、卷積神經網絡、反饋神經網絡等，如圖2所示。

相比於全連接神經網絡，卷積神經網絡通過引入二維特徵圖與突觸核的卷積操作獲得了強大的局部特徵提取能力，被廣泛用於圖像處理領域。

而反饋神經網絡通過引入反饋連接，建立時序動力學模型，被廣泛用於處理語音文本等時序數據。

其實，ANNs模型的建立也是在不同時期中分別借鑑了神經科學的知識：

人工神經網絡的概念以及基本神經元模型於1943年就已提出[2]，這正是試圖模擬腦皮層以神經元網絡形式進行信息處理的體現。

卷積神經網絡的局部感受野是受到大腦視覺系統的啟發。

深度神經網絡的層級構建是源於腦皮層的分層通路。

只不過在深度學習的後續發展中，研究者更加偏重把神經網絡視為一個黑匣，用於擬合從輸入到輸出的複雜映射關係：

只需要給網絡的輸出定義一個收斂目標（目標函數，比如每張圖像的輸出對應到正確的類別）並描述為一個優化問題，然後用梯度下降的方式去更新系統參數主要是突觸權重,使得輸出逐漸逼近想要的結果。

原則上網絡越大，特徵提取的能力就會越強，也就需要越多的數據來訓練網絡更新參數使網絡收斂，因此計算量也大幅增加。

故而，深度學習也被稱為數據和算力驅動的智能。雖然深度學習以解決實際應用為目標而與神經科學漸行漸遠，但近兩年也有科學家試圖在大腦中找到梯度下降的證據和吸收新的腦科學成果[3-8]。

深度學習的騰飛之路

深度學習的崛起也並非一蹴而就，是諸多因素相互促進的結晶。20世紀末到21世紀初很長一段時間內神經網絡方法不被多數人看好，其表現也不如傳統機器學習模型，多虧圖靈獎得主Hinton、LeCun和Bengio三位前輩的堅持，才有了今天的成就。

深度學習的飛速發展主要歸功於大型數據庫的誕生（如ImageNet）、高性能計算平臺（如GPUs）的出現、友好開發軟件的耕耘（如Tensorflow/Pytorch等）和神經網絡模型的改進（如卷積神經網中的VGG/Inception/ResNet/DenseNet），缺一不可。

由於成熟的算法、工具和應用場景，深度學習受到學術界和工業界的一致認可。深度學習加速器也現身各大學術頂會，並受到巨頭公司和創業公司的青睞，這其中就包括研發TPU的谷歌、手機內置神經引擎的蘋果以及國內的寒武紀、地平線、深鑑科技、華為、阿里等，當前主要熱門方向為研製運行ANNs模型的高性能雲計算平臺和低功耗終端器件。

脈衝神經網絡

基本模型

與深度學習不同，神經形態計算（neuromorphic computing）是目前智能模型中的又一大主要分支，它更加註重模擬大腦回路的行為，這裡給大家介紹兩類神經形態模型：脈衝神經網絡（Spiking Neural Network, SNN）和神經動力學網絡（Neural Dynamic Network）。

SNN與ANN主要有兩大不同，其一是採用脈衝編碼—spike code(0/1)，其二是具有豐富的時間動力學。SNN神經元如圖3所示，其模型可簡單描述為：

其中，

(t)為時間步，t

是時間常數，

u為神經元膜電位，

s為神經元的脈衝輸出，

和

分別為神經元靜息電位和重置電位，

為脈衝發放閾值，

表示每個神經元會累加對應突觸輸入脈衝序列中一定時間窗

內的脈衝信號，

用於刻畫時間衰減效應(距離當前時刻越近的脈衝輸入對膜電位影響越大)。

圖3 脈衝神經元示意圖

135編輯器

雖然上述以微分方程為基礎的SNN神經元模型看起來比ANN模型更為複雜，但它已經是最為簡化的SNN模型了，被稱為洩漏積分發放模型(Leaky Integrate and Fire, LIF)[9]，其它更為複雜的模型如Izhikevich[10]和Hodgkin & Huxley[11]僅憑藉現有計算機還難以仿真大規模網絡。

原理上，SNN的時間積分效應可以使得其能夠處理時序問題，尤其是稀疏數據（事實上大腦神經元發放頻率也是非常稀疏的）；其膜電位洩漏和閾值發放效應，進一步使得其能夠具有一定的去噪功能（事實上大腦脈衝信號也具有很多噪音，但大腦仍能正常工作）。

這兩個特性，目前的ANN模型都不具備(反饋神經網絡儘管具備時域處理能力，但與SNN很不相同)。雖然理論上有較大潛力，但由於SNN神經元的多變量時空動力學比較複雜，而脈衝發放活動又不可導，導致其無法使用具有全局性的梯度下降算法進行學習。

135編輯器

在相當長一段時間裡，其主要的學習規則都是非監督的腦啟發STDP(spike timing dependent plasticity)規則[12]，僅利用突觸兩端神經元的局部脈衝響應來更新突觸權重以滿足學習目標。

雖然STDP具有一定的生物基礎，但它太過於局部化，難以獲得類似梯度下降算法的全局優化能力，導致其在諸多應用中表現差於ANN模型。

直到最近三年，才有研究者通過將預先採用梯度下降算法訓練好的ANN模型轉換為其SNN版本[13,14]，或者通過對脈衝發放函數進行導數逼近，進而直接計算每個時刻膜電位和脈衝活動的梯度以實現基於梯度下降的有監督算法學習[15,16]，這些努力逐漸使得SNN的應用性能接近目前的ANN模型。

爭議叢生但未來可期

支持SNN的器件通常稱為神經形態器件（如歐洲的SpiNNaker[17]和DYNAP[18]，IBM的TrueNorth[19]，Intel的Loihi[20]），其研究的動機主要是因為SNN的類腦特性使其更有希望通過構建大規模系統獲得類腦智能。

不過從應用角度出發，目前的神經形態器件大多隻能體現低功耗的特性，這是由於SNN神經元的輸入輸出信號為二值脈衝的緣故，可以去除輸入和突觸權重運算中的笨重乘法，再加之脈衝活動非常稀疏且允許事件驅動的異步電路設計。

而在功能方面，SNN所表現出的性能尚不能與深度學習匹敵，這也是工業界對神經形態方案的熱情有所消退甚至持懷疑和觀望態度的原因。

135編輯器

但筆者認為，目前的神經形態計算還有很大的提升空間，未來仍有可期：

一方面，深度學習的進步是數據、算力、軟件和模型共同進步的結果，非一日之功，而神經形態計算在上述優化上還處於起步階段。

另一方面，理論上SNN具有更豐富的信息響應特性，但其模型優勢距離被充分挖掘還有很長的路要走，究竟什麼任務、什麼信息數據甚至什麼評估標準適合SNN均尚不清晰。

目前的大多數測試基準仍是從ANN中遷移而來，僅僅在圖像數據上和ANN比較識別正確率就判別勝負難免過於狹隘，SNN的專長不應止於此。期待研究者們繼續從各個子領域努力前行，逐步迭代發展。

神經動力學網絡

基本模型

除SNN外，實際上計算神經科學領域的許多神經網絡模型並不是以脈衝形式進行信息編碼的，但保留了膜電位的時間微分動力學，因此這裡稱之為神經動力學網絡（Neural Dynamic Networks）。

這類模型通常用於研究腦回路的響應特性，成果相對分散。這裡給大家介紹比較典型的連續吸引子網絡（Continuous Attractor Neural Network, CANN）[21,22]，其神經元模型可以簡單總結為如下：

其中大多數變量含義與SNN類似。此外，

x為神經元在二維空間中的座標位置（如圖4所示，以二維CANN為例），

為兩個對應位置神經元之間的突觸連接權重，

是神經元發放頻率，

為外部刺激，β

和

k為常數。

可以看到，CANN把SNN中“從膜電位到脈衝信號”的轉換調整為了“從膜電位到發放頻率”的轉換，公式中的除法歸一化體現了大腦中普遍存在的神經元抑制作用，使得發放頻率不會無限增長，整個系統趨於穩定。

135編輯器

在CANN中，突觸權重通常配置為高斯峰形狀，即

，相距越近的神經元連接越強，反之越弱，而α

控制著高斯峰的半徑。如此，在沒有外部刺激的時候，CANN模型的神經元發放頻率響應也呈現穩定的高斯函數形狀，稱為響應波包（Bump），表示網絡的一個吸引子狀態。

CANN不僅有簡潔的形式和特殊的動力學特性，在大腦中也具備生物學基礎：

大腦中頭朝向神經元在空間上沿著一個環分佈構成一維CANN，神經元群活動可以預測頭轉動的趨勢。

海馬中的空間神經元（Place Cell）互相連接構成一個二維CANN，神經元活動的波包可以編碼動物的空間位置，支持大腦的空間導航。

少數動物如蝙蝠的空間定位系統甚至會用到三維CANN。

關於CANN的計算原理、生物基礎和應用場景的更多信息，感興趣的讀者可以參考北京大學吳思教授課題組微信公眾號“吳思Lab計算神經科學及類腦計算”最近發佈的CANN專帖【學術思想】連續吸引子神經網絡：神經信息表達的正則化網絡模型。

圖4 二維CANN模型示意圖

135編輯器

CANN的應用場景有很多，這裡主要給大家詳細描述目標追蹤的實現[23]。當圖4中二維神經元陣列對應到視頻中的像素陣列、每個神經元的

"

來源：腦人言

撰文丨鄧 磊（加州大學-聖塔芭芭拉分校UCSB 博士後）

責編丨高茂森 Soma

排版丨夏獺

科學研究的動機，並非僅僅是出於能看到多酷炫的應用，而是因為我們尚有諸多未知世界需要探尋，這是一切應用的前提。

AI芯片如火如荼

AI芯片是當今人工智能熱潮中不可或缺的一個名詞，且受國際局勢影響愈加受到重視。摩爾定律難以為繼，通用處理器的性能提升速度大為減緩，在晶體管物理微縮和計算體系架構改進帶來的收益之爭中，後者漸處上風。

在此背景下，學術界和工業界紛紛將視野轉向針對特定領域設計高性能的專用芯片，擬將架構設計發揮到極致。

AI芯片作為最為典型的領域專用芯片代表，受到國內外研發單位的高度關注。國外有谷歌、蘋果、英特爾、IBM、英偉達等巨頭領銜，國內也有寒武紀、地平線、深鑑、華為、阿里等公司響應，最近清華大學的天機芯更是登上了Nature雜誌的封面[1]，其形勢可謂如日中天。

然而，AI芯片中所謂的“智能”究竟源自於哪些模型，又和我們的大腦有何關係，他們的過去和未來將會怎樣，本文帶你一探究竟。

人工神經網絡

基本模型

機器學習是目前人工智能模型中最卓有成效的一個分支，而深度學習又是當今機器學習的寵兒，其以人工神經網絡（Artificial Neural Network, ANN）為主要模型。

ANN由大量神經元（Neuron）通過突觸（synapse）連接而成，從輸入到輸出呈現層級結構，當層數較多時則被稱為深度神經網絡（Deep Neural Networks）。

圖1 人工神經元示意圖

每個神經元的基本結構如圖1所示，而基本的計算原理為

，其中x

和y

分別為輸入和輸出激活值、

w為突觸連接的權重值、

b為偏置值、

φ為非線性激活函數。

圖2 不同網絡連接拓撲

(a) 全連接神經網絡；(b) 反饋神經網絡；(c)卷積神經網絡。

根據神經元的連接拓撲可以分為全連接神經網絡、卷積神經網絡、反饋神經網絡等，如圖2所示。

相比於全連接神經網絡，卷積神經網絡通過引入二維特徵圖與突觸核的卷積操作獲得了強大的局部特徵提取能力，被廣泛用於圖像處理領域。

而反饋神經網絡通過引入反饋連接，建立時序動力學模型，被廣泛用於處理語音文本等時序數據。

其實，ANNs模型的建立也是在不同時期中分別借鑑了神經科學的知識：

人工神經網絡的概念以及基本神經元模型於1943年就已提出[2]，這正是試圖模擬腦皮層以神經元網絡形式進行信息處理的體現。

卷積神經網絡的局部感受野是受到大腦視覺系統的啟發。

深度神經網絡的層級構建是源於腦皮層的分層通路。

只不過在深度學習的後續發展中，研究者更加偏重把神經網絡視為一個黑匣，用於擬合從輸入到輸出的複雜映射關係：

只需要給網絡的輸出定義一個收斂目標（目標函數，比如每張圖像的輸出對應到正確的類別）並描述為一個優化問題，然後用梯度下降的方式去更新系統參數主要是突觸權重,使得輸出逐漸逼近想要的結果。

原則上網絡越大，特徵提取的能力就會越強，也就需要越多的數據來訓練網絡更新參數使網絡收斂，因此計算量也大幅增加。

故而，深度學習也被稱為數據和算力驅動的智能。雖然深度學習以解決實際應用為目標而與神經科學漸行漸遠，但近兩年也有科學家試圖在大腦中找到梯度下降的證據和吸收新的腦科學成果[3-8]。

深度學習的騰飛之路

深度學習的崛起也並非一蹴而就，是諸多因素相互促進的結晶。20世紀末到21世紀初很長一段時間內神經網絡方法不被多數人看好，其表現也不如傳統機器學習模型，多虧圖靈獎得主Hinton、LeCun和Bengio三位前輩的堅持，才有了今天的成就。

深度學習的飛速發展主要歸功於大型數據庫的誕生（如ImageNet）、高性能計算平臺（如GPUs）的出現、友好開發軟件的耕耘（如Tensorflow/Pytorch等）和神經網絡模型的改進（如卷積神經網中的VGG/Inception/ResNet/DenseNet），缺一不可。

由於成熟的算法、工具和應用場景，深度學習受到學術界和工業界的一致認可。深度學習加速器也現身各大學術頂會，並受到巨頭公司和創業公司的青睞，這其中就包括研發TPU的谷歌、手機內置神經引擎的蘋果以及國內的寒武紀、地平線、深鑑科技、華為、阿里等，當前主要熱門方向為研製運行ANNs模型的高性能雲計算平臺和低功耗終端器件。

脈衝神經網絡

基本模型

與深度學習不同，神經形態計算（neuromorphic computing）是目前智能模型中的又一大主要分支，它更加註重模擬大腦回路的行為，這裡給大家介紹兩類神經形態模型：脈衝神經網絡（Spiking Neural Network, SNN）和神經動力學網絡（Neural Dynamic Network）。

SNN與ANN主要有兩大不同，其一是採用脈衝編碼—spike code(0/1)，其二是具有豐富的時間動力學。SNN神經元如圖3所示，其模型可簡單描述為：

其中，

(t)為時間步，t

是時間常數，

u為神經元膜電位，

s為神經元的脈衝輸出，

和

分別為神經元靜息電位和重置電位，

為脈衝發放閾值，

表示每個神經元會累加對應突觸輸入脈衝序列中一定時間窗

內的脈衝信號，

用於刻畫時間衰減效應(距離當前時刻越近的脈衝輸入對膜電位影響越大)。

圖3 脈衝神經元示意圖

135編輯器

雖然上述以微分方程為基礎的SNN神經元模型看起來比ANN模型更為複雜，但它已經是最為簡化的SNN模型了，被稱為洩漏積分發放模型(Leaky Integrate and Fire, LIF)[9]，其它更為複雜的模型如Izhikevich[10]和Hodgkin & Huxley[11]僅憑藉現有計算機還難以仿真大規模網絡。

原理上，SNN的時間積分效應可以使得其能夠處理時序問題，尤其是稀疏數據（事實上大腦神經元發放頻率也是非常稀疏的）；其膜電位洩漏和閾值發放效應，進一步使得其能夠具有一定的去噪功能（事實上大腦脈衝信號也具有很多噪音，但大腦仍能正常工作）。

這兩個特性，目前的ANN模型都不具備(反饋神經網絡儘管具備時域處理能力，但與SNN很不相同)。雖然理論上有較大潛力，但由於SNN神經元的多變量時空動力學比較複雜，而脈衝發放活動又不可導，導致其無法使用具有全局性的梯度下降算法進行學習。

135編輯器

在相當長一段時間裡，其主要的學習規則都是非監督的腦啟發STDP(spike timing dependent plasticity)規則[12]，僅利用突觸兩端神經元的局部脈衝響應來更新突觸權重以滿足學習目標。

雖然STDP具有一定的生物基礎，但它太過於局部化，難以獲得類似梯度下降算法的全局優化能力，導致其在諸多應用中表現差於ANN模型。

直到最近三年，才有研究者通過將預先採用梯度下降算法訓練好的ANN模型轉換為其SNN版本[13,14]，或者通過對脈衝發放函數進行導數逼近，進而直接計算每個時刻膜電位和脈衝活動的梯度以實現基於梯度下降的有監督算法學習[15,16]，這些努力逐漸使得SNN的應用性能接近目前的ANN模型。

爭議叢生但未來可期

支持SNN的器件通常稱為神經形態器件（如歐洲的SpiNNaker[17]和DYNAP[18]，IBM的TrueNorth[19]，Intel的Loihi[20]），其研究的動機主要是因為SNN的類腦特性使其更有希望通過構建大規模系統獲得類腦智能。

不過從應用角度出發，目前的神經形態器件大多隻能體現低功耗的特性，這是由於SNN神經元的輸入輸出信號為二值脈衝的緣故，可以去除輸入和突觸權重運算中的笨重乘法，再加之脈衝活動非常稀疏且允許事件驅動的異步電路設計。

而在功能方面，SNN所表現出的性能尚不能與深度學習匹敵，這也是工業界對神經形態方案的熱情有所消退甚至持懷疑和觀望態度的原因。

135編輯器

但筆者認為，目前的神經形態計算還有很大的提升空間，未來仍有可期：

一方面，深度學習的進步是數據、算力、軟件和模型共同進步的結果，非一日之功，而神經形態計算在上述優化上還處於起步階段。

另一方面，理論上SNN具有更豐富的信息響應特性，但其模型優勢距離被充分挖掘還有很長的路要走，究竟什麼任務、什麼信息數據甚至什麼評估標準適合SNN均尚不清晰。

目前的大多數測試基準仍是從ANN中遷移而來，僅僅在圖像數據上和ANN比較識別正確率就判別勝負難免過於狹隘，SNN的專長不應止於此。期待研究者們繼續從各個子領域努力前行，逐步迭代發展。

神經動力學網絡

基本模型

除SNN外，實際上計算神經科學領域的許多神經網絡模型並不是以脈衝形式進行信息編碼的，但保留了膜電位的時間微分動力學，因此這裡稱之為神經動力學網絡（Neural Dynamic Networks）。

這類模型通常用於研究腦回路的響應特性，成果相對分散。這裡給大家介紹比較典型的連續吸引子網絡（Continuous Attractor Neural Network, CANN）[21,22]，其神經元模型可以簡單總結為如下：

其中大多數變量含義與SNN類似。此外，

x為神經元在二維空間中的座標位置（如圖4所示，以二維CANN為例），

為兩個對應位置神經元之間的突觸連接權重，

是神經元發放頻率，

為外部刺激，β

和

k為常數。

可以看到，CANN把SNN中“從膜電位到脈衝信號”的轉換調整為了“從膜電位到發放頻率”的轉換，公式中的除法歸一化體現了大腦中普遍存在的神經元抑制作用，使得發放頻率不會無限增長，整個系統趨於穩定。

135編輯器

在CANN中，突觸權重通常配置為高斯峰形狀，即

，相距越近的神經元連接越強，反之越弱，而α

控制著高斯峰的半徑。如此，在沒有外部刺激的時候，CANN模型的神經元發放頻率響應也呈現穩定的高斯函數形狀，稱為響應波包（Bump），表示網絡的一個吸引子狀態。

CANN不僅有簡潔的形式和特殊的動力學特性，在大腦中也具備生物學基礎：

大腦中頭朝向神經元在空間上沿著一個環分佈構成一維CANN，神經元群活動可以預測頭轉動的趨勢。

海馬中的空間神經元（Place Cell）互相連接構成一個二維CANN，神經元活動的波包可以編碼動物的空間位置，支持大腦的空間導航。

少數動物如蝙蝠的空間定位系統甚至會用到三維CANN。

關於CANN的計算原理、生物基礎和應用場景的更多信息，感興趣的讀者可以參考北京大學吳思教授課題組微信公眾號“吳思Lab計算神經科學及類腦計算”最近發佈的CANN專帖【學術思想】連續吸引子神經網絡：神經信息表達的正則化網絡模型。

圖4 二維CANN模型示意圖

135編輯器

CANN的應用場景有很多，這裡主要給大家詳細描述目標追蹤的實現[23]。當圖4中二維神經元陣列對應到視頻中的像素陣列、每個神經元的

"

來源：腦人言

撰文丨鄧 磊（加州大學-聖塔芭芭拉分校UCSB 博士後）

責編丨高茂森 Soma

排版丨夏獺

科學研究的動機，並非僅僅是出於能看到多酷炫的應用，而是因為我們尚有諸多未知世界需要探尋，這是一切應用的前提。

AI芯片如火如荼

AI芯片是當今人工智能熱潮中不可或缺的一個名詞，且受國際局勢影響愈加受到重視。摩爾定律難以為繼，通用處理器的性能提升速度大為減緩，在晶體管物理微縮和計算體系架構改進帶來的收益之爭中，後者漸處上風。

在此背景下，學術界和工業界紛紛將視野轉向針對特定領域設計高性能的專用芯片，擬將架構設計發揮到極致。

AI芯片作為最為典型的領域專用芯片代表，受到國內外研發單位的高度關注。國外有谷歌、蘋果、英特爾、IBM、英偉達等巨頭領銜，國內也有寒武紀、地平線、深鑑、華為、阿里等公司響應，最近清華大學的天機芯更是登上了Nature雜誌的封面[1]，其形勢可謂如日中天。

然而，AI芯片中所謂的“智能”究竟源自於哪些模型，又和我們的大腦有何關係，他們的過去和未來將會怎樣，本文帶你一探究竟。

人工神經網絡

基本模型

機器學習是目前人工智能模型中最卓有成效的一個分支，而深度學習又是當今機器學習的寵兒，其以人工神經網絡（Artificial Neural Network, ANN）為主要模型。

ANN由大量神經元（Neuron）通過突觸（synapse）連接而成，從輸入到輸出呈現層級結構，當層數較多時則被稱為深度神經網絡（Deep Neural Networks）。

圖1 人工神經元示意圖

每個神經元的基本結構如圖1所示，而基本的計算原理為

，其中x

和y

分別為輸入和輸出激活值、

w為突觸連接的權重值、

b為偏置值、

φ為非線性激活函數。

圖2 不同網絡連接拓撲

(a) 全連接神經網絡；(b) 反饋神經網絡；(c)卷積神經網絡。

根據神經元的連接拓撲可以分為全連接神經網絡、卷積神經網絡、反饋神經網絡等，如圖2所示。

相比於全連接神經網絡，卷積神經網絡通過引入二維特徵圖與突觸核的卷積操作獲得了強大的局部特徵提取能力，被廣泛用於圖像處理領域。

而反饋神經網絡通過引入反饋連接，建立時序動力學模型，被廣泛用於處理語音文本等時序數據。

其實，ANNs模型的建立也是在不同時期中分別借鑑了神經科學的知識：

人工神經網絡的概念以及基本神經元模型於1943年就已提出[2]，這正是試圖模擬腦皮層以神經元網絡形式進行信息處理的體現。

卷積神經網絡的局部感受野是受到大腦視覺系統的啟發。

深度神經網絡的層級構建是源於腦皮層的分層通路。

只不過在深度學習的後續發展中，研究者更加偏重把神經網絡視為一個黑匣，用於擬合從輸入到輸出的複雜映射關係：

只需要給網絡的輸出定義一個收斂目標（目標函數，比如每張圖像的輸出對應到正確的類別）並描述為一個優化問題，然後用梯度下降的方式去更新系統參數主要是突觸權重,使得輸出逐漸逼近想要的結果。

原則上網絡越大，特徵提取的能力就會越強，也就需要越多的數據來訓練網絡更新參數使網絡收斂，因此計算量也大幅增加。

故而，深度學習也被稱為數據和算力驅動的智能。雖然深度學習以解決實際應用為目標而與神經科學漸行漸遠，但近兩年也有科學家試圖在大腦中找到梯度下降的證據和吸收新的腦科學成果[3-8]。

深度學習的騰飛之路

深度學習的崛起也並非一蹴而就，是諸多因素相互促進的結晶。20世紀末到21世紀初很長一段時間內神經網絡方法不被多數人看好，其表現也不如傳統機器學習模型，多虧圖靈獎得主Hinton、LeCun和Bengio三位前輩的堅持，才有了今天的成就。

深度學習的飛速發展主要歸功於大型數據庫的誕生（如ImageNet）、高性能計算平臺（如GPUs）的出現、友好開發軟件的耕耘（如Tensorflow/Pytorch等）和神經網絡模型的改進（如卷積神經網中的VGG/Inception/ResNet/DenseNet），缺一不可。

由於成熟的算法、工具和應用場景，深度學習受到學術界和工業界的一致認可。深度學習加速器也現身各大學術頂會，並受到巨頭公司和創業公司的青睞，這其中就包括研發TPU的谷歌、手機內置神經引擎的蘋果以及國內的寒武紀、地平線、深鑑科技、華為、阿里等，當前主要熱門方向為研製運行ANNs模型的高性能雲計算平臺和低功耗終端器件。

脈衝神經網絡

基本模型

與深度學習不同，神經形態計算（neuromorphic computing）是目前智能模型中的又一大主要分支，它更加註重模擬大腦回路的行為，這裡給大家介紹兩類神經形態模型：脈衝神經網絡（Spiking Neural Network, SNN）和神經動力學網絡（Neural Dynamic Network）。

SNN與ANN主要有兩大不同，其一是採用脈衝編碼—spike code(0/1)，其二是具有豐富的時間動力學。SNN神經元如圖3所示，其模型可簡單描述為：

其中，

(t)為時間步，t

是時間常數，

u為神經元膜電位，

s為神經元的脈衝輸出，

和

分別為神經元靜息電位和重置電位，

為脈衝發放閾值，

表示每個神經元會累加對應突觸輸入脈衝序列中一定時間窗

內的脈衝信號，

用於刻畫時間衰減效應(距離當前時刻越近的脈衝輸入對膜電位影響越大)。

圖3 脈衝神經元示意圖

135編輯器

雖然上述以微分方程為基礎的SNN神經元模型看起來比ANN模型更為複雜，但它已經是最為簡化的SNN模型了，被稱為洩漏積分發放模型(Leaky Integrate and Fire, LIF)[9]，其它更為複雜的模型如Izhikevich[10]和Hodgkin & Huxley[11]僅憑藉現有計算機還難以仿真大規模網絡。

原理上，SNN的時間積分效應可以使得其能夠處理時序問題，尤其是稀疏數據（事實上大腦神經元發放頻率也是非常稀疏的）；其膜電位洩漏和閾值發放效應，進一步使得其能夠具有一定的去噪功能（事實上大腦脈衝信號也具有很多噪音，但大腦仍能正常工作）。

這兩個特性，目前的ANN模型都不具備(反饋神經網絡儘管具備時域處理能力，但與SNN很不相同)。雖然理論上有較大潛力，但由於SNN神經元的多變量時空動力學比較複雜，而脈衝發放活動又不可導，導致其無法使用具有全局性的梯度下降算法進行學習。

135編輯器

在相當長一段時間裡，其主要的學習規則都是非監督的腦啟發STDP(spike timing dependent plasticity)規則[12]，僅利用突觸兩端神經元的局部脈衝響應來更新突觸權重以滿足學習目標。

雖然STDP具有一定的生物基礎，但它太過於局部化，難以獲得類似梯度下降算法的全局優化能力，導致其在諸多應用中表現差於ANN模型。

直到最近三年，才有研究者通過將預先採用梯度下降算法訓練好的ANN模型轉換為其SNN版本[13,14]，或者通過對脈衝發放函數進行導數逼近，進而直接計算每個時刻膜電位和脈衝活動的梯度以實現基於梯度下降的有監督算法學習[15,16]，這些努力逐漸使得SNN的應用性能接近目前的ANN模型。

爭議叢生但未來可期

支持SNN的器件通常稱為神經形態器件（如歐洲的SpiNNaker[17]和DYNAP[18]，IBM的TrueNorth[19]，Intel的Loihi[20]），其研究的動機主要是因為SNN的類腦特性使其更有希望通過構建大規模系統獲得類腦智能。

不過從應用角度出發，目前的神經形態器件大多隻能體現低功耗的特性，這是由於SNN神經元的輸入輸出信號為二值脈衝的緣故，可以去除輸入和突觸權重運算中的笨重乘法，再加之脈衝活動非常稀疏且允許事件驅動的異步電路設計。

而在功能方面，SNN所表現出的性能尚不能與深度學習匹敵，這也是工業界對神經形態方案的熱情有所消退甚至持懷疑和觀望態度的原因。

135編輯器

但筆者認為，目前的神經形態計算還有很大的提升空間，未來仍有可期：

一方面，深度學習的進步是數據、算力、軟件和模型共同進步的結果，非一日之功，而神經形態計算在上述優化上還處於起步階段。

另一方面，理論上SNN具有更豐富的信息響應特性，但其模型優勢距離被充分挖掘還有很長的路要走，究竟什麼任務、什麼信息數據甚至什麼評估標準適合SNN均尚不清晰。

目前的大多數測試基準仍是從ANN中遷移而來，僅僅在圖像數據上和ANN比較識別正確率就判別勝負難免過於狹隘，SNN的專長不應止於此。期待研究者們繼續從各個子領域努力前行，逐步迭代發展。

神經動力學網絡

基本模型

除SNN外，實際上計算神經科學領域的許多神經網絡模型並不是以脈衝形式進行信息編碼的，但保留了膜電位的時間微分動力學，因此這裡稱之為神經動力學網絡（Neural Dynamic Networks）。

這類模型通常用於研究腦回路的響應特性，成果相對分散。這裡給大家介紹比較典型的連續吸引子網絡（Continuous Attractor Neural Network, CANN）[21,22]，其神經元模型可以簡單總結為如下：

其中大多數變量含義與SNN類似。此外，

x為神經元在二維空間中的座標位置（如圖4所示，以二維CANN為例），

為兩個對應位置神經元之間的突觸連接權重，

是神經元發放頻率，

為外部刺激，β

和

k為常數。

可以看到，CANN把SNN中“從膜電位到脈衝信號”的轉換調整為了“從膜電位到發放頻率”的轉換，公式中的除法歸一化體現了大腦中普遍存在的神經元抑制作用，使得發放頻率不會無限增長，整個系統趨於穩定。

135編輯器

在CANN中，突觸權重通常配置為高斯峰形狀，即

，相距越近的神經元連接越強，反之越弱，而α

控制著高斯峰的半徑。如此，在沒有外部刺激的時候，CANN模型的神經元發放頻率響應也呈現穩定的高斯函數形狀，稱為響應波包（Bump），表示網絡的一個吸引子狀態。

CANN不僅有簡潔的形式和特殊的動力學特性，在大腦中也具備生物學基礎：

大腦中頭朝向神經元在空間上沿著一個環分佈構成一維CANN，神經元群活動可以預測頭轉動的趨勢。

海馬中的空間神經元（Place Cell）互相連接構成一個二維CANN，神經元活動的波包可以編碼動物的空間位置，支持大腦的空間導航。

少數動物如蝙蝠的空間定位系統甚至會用到三維CANN。

關於CANN的計算原理、生物基礎和應用場景的更多信息，感興趣的讀者可以參考北京大學吳思教授課題組微信公眾號“吳思Lab計算神經科學及類腦計算”最近發佈的CANN專帖【學術思想】連續吸引子神經網絡：神經信息表達的正則化網絡模型。

圖4 二維CANN模型示意圖

135編輯器

CANN的應用場景有很多，這裡主要給大家詳細描述目標追蹤的實現[23]。當圖4中二維神經元陣列對應到視頻中的像素陣列、每個神經元的

接收對應位置像素強度的前後幀差分信號刺激時，網絡便可實現目標追蹤。

詳細而言，網絡初始時對目標所在的方框區域初始化為高響應值，其他區域為0；開始運行後，網絡所有神經元按照CANN規則進行計算，而目標所在區域的強差分輸入會牽引著神經元響應波包平滑移動，波包位置對目標進行實時追蹤。突觸權重高斯峰的半徑決定了追蹤的性能：太寬則容易受鄰近目標干擾，太窄則容易跟丟目標。

這種吸引子跟隨外部輸入的牽引而移動是CANN的特有動力學特性，對目標的追蹤也非常平滑自然。除目標追蹤的應用外，波包編碼本身也是一種神經元群編碼的體現，相比於單神經元編碼，更具有魯棒性。

另一方面，一簇CANN神經元可以處理某種模態信息的不同任務，也可以處理不同模態的信息，多簇CANN可以用長程連接進行信息交互，因此CANN也有潛力為大腦提供多模態信息處理的統一框架。

實際應用任重道遠

前面講述的深度學習和SNN都有對應的專用處理芯片，而神經動力學網絡由於本身研究比較分散，應用也不成體系，在硬件中的實現仍較為少見。

MIT曾實現了十多個神經元的簡單CANN模型[24]，但並未引起重視。最近，清華大學的類腦芯片—天機芯通過對CANN模型突觸連接的局部約束、數據的低精度化等硬件友好改造，實現了約800幀每秒的超快目標追蹤[1,23]。

目前多數神經動力學網絡還是以復現神經迴路響應模式居多，距離實際應用還任重道遠，需要持續不斷地進行挖掘。

"

來源：腦人言

撰文丨鄧 磊（加州大學-聖塔芭芭拉分校UCSB 博士後）

責編丨高茂森 Soma

排版丨夏獺

科學研究的動機，並非僅僅是出於能看到多酷炫的應用，而是因為我們尚有諸多未知世界需要探尋，這是一切應用的前提。

AI芯片如火如荼

AI芯片是當今人工智能熱潮中不可或缺的一個名詞，且受國際局勢影響愈加受到重視。摩爾定律難以為繼，通用處理器的性能提升速度大為減緩，在晶體管物理微縮和計算體系架構改進帶來的收益之爭中，後者漸處上風。

在此背景下，學術界和工業界紛紛將視野轉向針對特定領域設計高性能的專用芯片，擬將架構設計發揮到極致。

AI芯片作為最為典型的領域專用芯片代表，受到國內外研發單位的高度關注。國外有谷歌、蘋果、英特爾、IBM、英偉達等巨頭領銜，國內也有寒武紀、地平線、深鑑、華為、阿里等公司響應，最近清華大學的天機芯更是登上了Nature雜誌的封面[1]，其形勢可謂如日中天。

然而，AI芯片中所謂的“智能”究竟源自於哪些模型，又和我們的大腦有何關係，他們的過去和未來將會怎樣，本文帶你一探究竟。

人工神經網絡

基本模型

機器學習是目前人工智能模型中最卓有成效的一個分支，而深度學習又是當今機器學習的寵兒，其以人工神經網絡（Artificial Neural Network, ANN）為主要模型。

ANN由大量神經元（Neuron）通過突觸（synapse）連接而成，從輸入到輸出呈現層級結構，當層數較多時則被稱為深度神經網絡（Deep Neural Networks）。

圖1 人工神經元示意圖

每個神經元的基本結構如圖1所示，而基本的計算原理為

，其中x

和y

分別為輸入和輸出激活值、

w為突觸連接的權重值、

b為偏置值、

φ為非線性激活函數。

圖2 不同網絡連接拓撲

(a) 全連接神經網絡；(b) 反饋神經網絡；(c)卷積神經網絡。

根據神經元的連接拓撲可以分為全連接神經網絡、卷積神經網絡、反饋神經網絡等，如圖2所示。

相比於全連接神經網絡，卷積神經網絡通過引入二維特徵圖與突觸核的卷積操作獲得了強大的局部特徵提取能力，被廣泛用於圖像處理領域。

而反饋神經網絡通過引入反饋連接，建立時序動力學模型，被廣泛用於處理語音文本等時序數據。

其實，ANNs模型的建立也是在不同時期中分別借鑑了神經科學的知識：

人工神經網絡的概念以及基本神經元模型於1943年就已提出[2]，這正是試圖模擬腦皮層以神經元網絡形式進行信息處理的體現。

卷積神經網絡的局部感受野是受到大腦視覺系統的啟發。

深度神經網絡的層級構建是源於腦皮層的分層通路。

只不過在深度學習的後續發展中，研究者更加偏重把神經網絡視為一個黑匣，用於擬合從輸入到輸出的複雜映射關係：

只需要給網絡的輸出定義一個收斂目標（目標函數，比如每張圖像的輸出對應到正確的類別）並描述為一個優化問題，然後用梯度下降的方式去更新系統參數主要是突觸權重,使得輸出逐漸逼近想要的結果。

原則上網絡越大，特徵提取的能力就會越強，也就需要越多的數據來訓練網絡更新參數使網絡收斂，因此計算量也大幅增加。

故而，深度學習也被稱為數據和算力驅動的智能。雖然深度學習以解決實際應用為目標而與神經科學漸行漸遠，但近兩年也有科學家試圖在大腦中找到梯度下降的證據和吸收新的腦科學成果[3-8]。

深度學習的騰飛之路

深度學習的崛起也並非一蹴而就，是諸多因素相互促進的結晶。20世紀末到21世紀初很長一段時間內神經網絡方法不被多數人看好，其表現也不如傳統機器學習模型，多虧圖靈獎得主Hinton、LeCun和Bengio三位前輩的堅持，才有了今天的成就。

深度學習的飛速發展主要歸功於大型數據庫的誕生（如ImageNet）、高性能計算平臺（如GPUs）的出現、友好開發軟件的耕耘（如Tensorflow/Pytorch等）和神經網絡模型的改進（如卷積神經網中的VGG/Inception/ResNet/DenseNet），缺一不可。

由於成熟的算法、工具和應用場景，深度學習受到學術界和工業界的一致認可。深度學習加速器也現身各大學術頂會，並受到巨頭公司和創業公司的青睞，這其中就包括研發TPU的谷歌、手機內置神經引擎的蘋果以及國內的寒武紀、地平線、深鑑科技、華為、阿里等，當前主要熱門方向為研製運行ANNs模型的高性能雲計算平臺和低功耗終端器件。

脈衝神經網絡

基本模型

與深度學習不同，神經形態計算（neuromorphic computing）是目前智能模型中的又一大主要分支，它更加註重模擬大腦回路的行為，這裡給大家介紹兩類神經形態模型：脈衝神經網絡（Spiking Neural Network, SNN）和神經動力學網絡（Neural Dynamic Network）。

SNN與ANN主要有兩大不同，其一是採用脈衝編碼—spike code(0/1)，其二是具有豐富的時間動力學。SNN神經元如圖3所示，其模型可簡單描述為：

其中，

(t)為時間步，t

是時間常數，

u為神經元膜電位，

s為神經元的脈衝輸出，

和

分別為神經元靜息電位和重置電位，

為脈衝發放閾值，

表示每個神經元會累加對應突觸輸入脈衝序列中一定時間窗

內的脈衝信號，

用於刻畫時間衰減效應(距離當前時刻越近的脈衝輸入對膜電位影響越大)。

圖3 脈衝神經元示意圖

135編輯器

雖然上述以微分方程為基礎的SNN神經元模型看起來比ANN模型更為複雜，但它已經是最為簡化的SNN模型了，被稱為洩漏積分發放模型(Leaky Integrate and Fire, LIF)[9]，其它更為複雜的模型如Izhikevich[10]和Hodgkin & Huxley[11]僅憑藉現有計算機還難以仿真大規模網絡。

原理上，SNN的時間積分效應可以使得其能夠處理時序問題，尤其是稀疏數據（事實上大腦神經元發放頻率也是非常稀疏的）；其膜電位洩漏和閾值發放效應，進一步使得其能夠具有一定的去噪功能（事實上大腦脈衝信號也具有很多噪音，但大腦仍能正常工作）。

這兩個特性，目前的ANN模型都不具備(反饋神經網絡儘管具備時域處理能力，但與SNN很不相同)。雖然理論上有較大潛力，但由於SNN神經元的多變量時空動力學比較複雜，而脈衝發放活動又不可導，導致其無法使用具有全局性的梯度下降算法進行學習。

135編輯器

在相當長一段時間裡，其主要的學習規則都是非監督的腦啟發STDP(spike timing dependent plasticity)規則[12]，僅利用突觸兩端神經元的局部脈衝響應來更新突觸權重以滿足學習目標。

雖然STDP具有一定的生物基礎，但它太過於局部化，難以獲得類似梯度下降算法的全局優化能力，導致其在諸多應用中表現差於ANN模型。

直到最近三年，才有研究者通過將預先採用梯度下降算法訓練好的ANN模型轉換為其SNN版本[13,14]，或者通過對脈衝發放函數進行導數逼近，進而直接計算每個時刻膜電位和脈衝活動的梯度以實現基於梯度下降的有監督算法學習[15,16]，這些努力逐漸使得SNN的應用性能接近目前的ANN模型。

爭議叢生但未來可期

支持SNN的器件通常稱為神經形態器件（如歐洲的SpiNNaker[17]和DYNAP[18]，IBM的TrueNorth[19]，Intel的Loihi[20]），其研究的動機主要是因為SNN的類腦特性使其更有希望通過構建大規模系統獲得類腦智能。

不過從應用角度出發，目前的神經形態器件大多隻能體現低功耗的特性，這是由於SNN神經元的輸入輸出信號為二值脈衝的緣故，可以去除輸入和突觸權重運算中的笨重乘法，再加之脈衝活動非常稀疏且允許事件驅動的異步電路設計。

而在功能方面，SNN所表現出的性能尚不能與深度學習匹敵，這也是工業界對神經形態方案的熱情有所消退甚至持懷疑和觀望態度的原因。

135編輯器

但筆者認為，目前的神經形態計算還有很大的提升空間，未來仍有可期：

一方面，深度學習的進步是數據、算力、軟件和模型共同進步的結果，非一日之功，而神經形態計算在上述優化上還處於起步階段。

另一方面，理論上SNN具有更豐富的信息響應特性，但其模型優勢距離被充分挖掘還有很長的路要走，究竟什麼任務、什麼信息數據甚至什麼評估標準適合SNN均尚不清晰。

目前的大多數測試基準仍是從ANN中遷移而來，僅僅在圖像數據上和ANN比較識別正確率就判別勝負難免過於狹隘，SNN的專長不應止於此。期待研究者們繼續從各個子領域努力前行，逐步迭代發展。

神經動力學網絡

基本模型

除SNN外，實際上計算神經科學領域的許多神經網絡模型並不是以脈衝形式進行信息編碼的，但保留了膜電位的時間微分動力學，因此這裡稱之為神經動力學網絡（Neural Dynamic Networks）。

這類模型通常用於研究腦回路的響應特性，成果相對分散。這裡給大家介紹比較典型的連續吸引子網絡（Continuous Attractor Neural Network, CANN）[21,22]，其神經元模型可以簡單總結為如下：

其中大多數變量含義與SNN類似。此外，

x為神經元在二維空間中的座標位置（如圖4所示，以二維CANN為例），

為兩個對應位置神經元之間的突觸連接權重，

是神經元發放頻率，

為外部刺激，β

和

k為常數。

可以看到，CANN把SNN中“從膜電位到脈衝信號”的轉換調整為了“從膜電位到發放頻率”的轉換，公式中的除法歸一化體現了大腦中普遍存在的神經元抑制作用，使得發放頻率不會無限增長，整個系統趨於穩定。

135編輯器

在CANN中，突觸權重通常配置為高斯峰形狀，即

，相距越近的神經元連接越強，反之越弱，而α

控制著高斯峰的半徑。如此，在沒有外部刺激的時候，CANN模型的神經元發放頻率響應也呈現穩定的高斯函數形狀，稱為響應波包（Bump），表示網絡的一個吸引子狀態。

CANN不僅有簡潔的形式和特殊的動力學特性，在大腦中也具備生物學基礎：

大腦中頭朝向神經元在空間上沿著一個環分佈構成一維CANN，神經元群活動可以預測頭轉動的趨勢。

海馬中的空間神經元（Place Cell）互相連接構成一個二維CANN，神經元活動的波包可以編碼動物的空間位置，支持大腦的空間導航。

少數動物如蝙蝠的空間定位系統甚至會用到三維CANN。

關於CANN的計算原理、生物基礎和應用場景的更多信息，感興趣的讀者可以參考北京大學吳思教授課題組微信公眾號“吳思Lab計算神經科學及類腦計算”最近發佈的CANN專帖【學術思想】連續吸引子神經網絡：神經信息表達的正則化網絡模型。

圖4 二維CANN模型示意圖

135編輯器

CANN的應用場景有很多，這裡主要給大家詳細描述目標追蹤的實現[23]。當圖4中二維神經元陣列對應到視頻中的像素陣列、每個神經元的

接收對應位置像素強度的前後幀差分信號刺激時，網絡便可實現目標追蹤。

詳細而言，網絡初始時對目標所在的方框區域初始化為高響應值，其他區域為0；開始運行後，網絡所有神經元按照CANN規則進行計算，而目標所在區域的強差分輸入會牽引著神經元響應波包平滑移動，波包位置對目標進行實時追蹤。突觸權重高斯峰的半徑決定了追蹤的性能：太寬則容易受鄰近目標干擾，太窄則容易跟丟目標。

這種吸引子跟隨外部輸入的牽引而移動是CANN的特有動力學特性，對目標的追蹤也非常平滑自然。除目標追蹤的應用外，波包編碼本身也是一種神經元群編碼的體現，相比於單神經元編碼，更具有魯棒性。

另一方面，一簇CANN神經元可以處理某種模態信息的不同任務，也可以處理不同模態的信息，多簇CANN可以用長程連接進行信息交互，因此CANN也有潛力為大腦提供多模態信息處理的統一框架。

實際應用任重道遠

前面講述的深度學習和SNN都有對應的專用處理芯片，而神經動力學網絡由於本身研究比較分散，應用也不成體系，在硬件中的實現仍較為少見。

MIT曾實現了十多個神經元的簡單CANN模型[24]，但並未引起重視。最近，清華大學的類腦芯片—天機芯通過對CANN模型突觸連接的局部約束、數據的低精度化等硬件友好改造，實現了約800幀每秒的超快目標追蹤[1,23]。

目前多數神經動力學網絡還是以復現神經迴路響應模式居多，距離實際應用還任重道遠，需要持續不斷地進行挖掘。

天機芯

跨域融合思想

上述模型各有特點和優缺點，孰優孰劣尚無定論。與現有深度學習加速器和神經形態器件分別支持ANN和SNN模型不同，天機芯[1]的目標是促進通用人工智能的發展，所以在保持專用芯片高效能的同時需要儘可能提高對上述模型支持的通用性。

由於不同模型的迥異計算原理、信息編碼方式與應用場景，導致其所需的計算與存儲架構以及優化目標相差較大，這點從現有深度學習加速器和神經形態器件的獨立設計和應用體系可以看出來。這裡需要注意的是，分別設計不同模型的專用模塊再簡單放置到一起是行不通的，原因如下。第一，很難確定各自的配置比例，因為現實應用中的工作負載往往是多變的；第二，面積和功耗都不高效，處理單一同構模型時，會導致總體利用率很低；第三，處理混合異構模型時，需要專門的信號轉換單元，增加額外成本降低效率。

135編輯器

在天機芯的設計中，實現異構融合有兩個關鍵點。首先，深入研究大多數目前的主流神經網絡模型，包括人工神經網絡、脈衝神經網絡與神經動力學網絡等，建立一個通用的模型描述框架，並把這些模型進行合理拆解後映射至包括軸突、樹突、突觸、胞體以及互連網絡等基本模塊上，歸納每個模塊應具備的算子功能。每個模塊都最大程度複用不同模型工作模式的存儲和計算資源，所以最終面積只比單一模式高3%。

然後，基於現有神經形態芯片的眾核可擴展架構（每個芯片中有許多個互相連接的基本功能核），並仔細設計上述幾個基本模塊，包括模式可獨立配置的軸突和胞體（輸入/輸出模塊），模式共享的樹突和突觸（運算模塊），以及統一的路由協議和路由網絡（連接模塊）。當軸突和胞體工作在相同模式下，整個網絡可支持典型單一同構模型；當軸突和胞體工作在不同模式下，整個網絡可支持目前尚缺乏研究的混合異構模型，有望推動神經網絡新模型的探索。

無人自行車應用演示

選擇什麼樣的平臺來演示天機芯的基本功能並非易事。首先，這應該是一個類似大腦的多模態系統，覆蓋感知、決策和執行的完整鏈路，並能夠為異構融合的多種模型提供任務支撐，這與目前很多AI系統演示的單一任務不同。其次，這應該是一個能夠與現實環境交互的真實系統，而不是停留在機房實驗。再者，這個系統最好對處理芯片有功耗和實時性要求，以體現專用芯片的優勢。最後，這個系統必須是安全可控的，能夠方便實驗。綜上所述，無人智能自行車平臺應運而生，其具有語音識別、目標探測和追蹤、運動控制、障礙躲避以及自主決策等功能，是一個運行在戶外場景同時對功耗和實時性具有需求的一個嵌入式機器人，算得上是一個五臟俱全的小型類腦平臺。

其中，目標探測採用的是ANN中的卷積神經網絡，在相機採集的圖像中探測目標位置；車身平衡控制採用的是ANN中的全連接神經網絡，根據陀螺儀採集的車身姿態實現對轉向電機的PID控制，保持自行車平衡；語音命令識別採用的是SNN模型，將語音信號轉換為spike脈衝信號特徵後進行命令分類；目標追蹤便是前面介紹過的CANN模型；自主決策是一個有限狀態機，實現上述不同模型的融合通信，因此是一個異構的混合模型。

135編輯器

總結

縱觀當今的AI芯片，從計算機科學和神經科學角度尋求動機，採用了不同的神經網絡模型，呈現了不同的硬件架構設計，應用和性能也各有所長。

筆者認為，在現階段沒有必要急著對各類途徑分出勝負。

一方面應該繼續保持研究的多樣性，使各個領域迭代發展，畢竟每一條路線目前看來都不能保證成為終極方案。

另一方面，面對目前已知的各類神經網絡模型，從數學根本上去探尋他們的表達能力差異從而尋求可控的大一統模型，也是很好的著力點。

科學研究的動機，並非僅僅是出於能看到多酷炫的應用，而是因為我們尚有諸多未知世界需要探尋，這是一切應用的前提。

參考文獻

[1] Pei, Jing, Lei Deng, Sen Song, Mingguo Zhao, Youhui Zhang, Shuang Wu, Guanrui Wang et al. "Towards artificial general intelligence with hybrid Tianjic chip architecture." Nature 572, no. 7767 (2019): 106.

[2] McCulloch W S, Pitts W. A logical calculus of the ideas immanent in nervous activity. Bull Math Biophys, 1943, 5(4): 115–133.

[3] Sacramento, Joao, Rui Ponte Costa, Yoshua Bengio, and Walter Senn. "Dendritic error backpropagation in deep cortical microcircuits." arXiv preprint arXiv:1801.00062 (2017).

[4] Guerguiev, Jordan, Timothy P. Lillicrap, and Blake A. Richards. "Towards deep learning with segregated dendrites." ELife 6 (2017): e22901.

[5] Sabour, Sara, Nicholas Frosst, and Geoffrey E. Hinton. "Dynamic routing between capsules." In Advances in neural information processing systems, pp. 3856-3866. 2017.

[6] Roelfsema, Pieter R., and Anthony Holtmaat. "Control of synaptic plasticity in deep cortical networks." Nature Reviews Neuroscience 19, no. 3 (2018): 166.

[7] Marblestone, Adam H., Greg Wayne, and Konrad P. Kording. "Toward an integration of deep learning and neuroscience." Frontiers in computational neuroscience 10 (2016): 94.

[8] Ullman, Shimon. "Using neuroscience to develop artificial intelligence." Science 363, no. 6428 (2019): 692-693.

[9] Gerstner, Wulfram, Werner M. Kistler, Richard Naud, and Liam Paninski. Neuronal dynamics: From single neurons to networks and models of cognition. Cambridge University Press, 2014.

[10] Izhikevich, Eugene M. "Simple model of spiking neurons." IEEE Transactions on neural networks 14, no. 6 (2003): 1569-1572.

[11] Hodgkin, Alan L., and Andrew F. Huxley. "A quantitative description of membrane current and its application to conduction and excitation in nerve." The Journal of physiology117, no. 4 (1952): 500-544.

[12] Song, Sen, Kenneth D. Miller, and Larry F. Abbott. "Competitive Hebbian learning through spike-timing-dependent synaptic plasticity." Nature neuroscience 3, no. 9 (2000): 919.

[13] Diehl, Peter U., Daniel Neil, Jonathan Binas, Matthew Cook, Shih-Chii Liu, and Michael Pfeiffer. "Fast-classifying, high-accuracy spiking deep networks through weight and threshold balancing." In 2015 International Joint Conference on Neural Networks (IJCNN), pp. 1-8. IEEE, 2015.

[14] Sengupta, Abhronil, Yuting Ye, Robert Wang, Chiao Liu, and Kaushik Roy. "Going deeper in spiking neural networks: VGG and residual architectures." Frontiers in neuroscience 13 (2019).

[15] Wu, Yujie, Lei Deng, Guoqi Li, Jun Zhu, and Luping Shi. "Spatio-temporal backpropagation for training high-performance spiking neural networks." Frontiers in neuroscience 12 (2018).

[16] Wu, Yujie, Lei Deng, Guoqi Li, Jun Zhu, Yuan Xie, and Luping Shi. "Direct training for spiking neural networks: Faster, larger, better." In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, pp. 1311-1318. 2019.

[17] Furber, Steve B., Francesco Galluppi, Steve Temple, and Luis A. Plana. "The spinnaker project." Proceedings of the IEEE102, no. 5 (2014): 652-665.

[18] Moradi, Saber, Ning Qiao, Fabio Stefanini, and Giacomo Indiveri. "A scalable multicore architecture with heterogeneous memory structures for dynamic neuromorphic asynchronous processors (dynaps)." IEEE transactions on biomedical circuits and systems 12, no. 1 (2017): 106-122.

[19] Merolla, Paul A., John V. Arthur, Rodrigo Alvarez-Icaza, Andrew S. Cassidy, Jun Sawada, Filipp Akopyan, Bryan L. Jackson et al. "A million spiking-neuron integrated circuit with a scalable communication network and interface." Science345, no. 6197 (2014): 668-673.

[20] Davies, Mike, Narayan Srinivasa, Tsung-Han Lin, Gautham Chinya, Yongqiang Cao, Sri Harsha Choday, Georgios Dimou et al. "Loihi: A neuromorphic manycore processor with on-chip learning." IEEE Micro 38, no. 1 (2018): 82-99.

[21] Wu, Si, Kosuke Hamaguchi, and Shun-ichi Amari. "Dynamics and computation of continuous attractors." Neural computation20, no. 4 (2008): 994-1025.

[22] Fung, CC Alan, KY Michael Wong, and Si Wu. "A moving bump in a continuous manifold: a comprehensive study of the tracking dynamics of continuous attractor neural networks." Neural Computation 22, no. 3 (2010): 752-792.

[23] Deng, Lei, Zhe Zou, Xin Ma, Ling Liang, Guanrui Wang, Xing Hu, Liu Liu, Jing Pei, Guoqi Li, and Yuan Xie. "Fast Object Tracking on a Many-Core Neural Network Chip." Frontiers in neuroscience 12 (2018).

腦人言，與大腦對話

"

相關推薦

'一條妙計確保你的AI模型總是有幫助'

"作者 | 慄峰編輯 | 唐裡當我們在討論溫度的時候，我們不會認為自己扔掉了大量的信息。如果我問某人外面有多熱，他們開始列舉各種空氣粒子的位置和速度來說明，那我會趕緊走開。現實是，作為人類，我們對“能提供充足信息”和“有用”之間的區別有著與生俱來的理解能力。我們會告訴別人外...

人工智能 蒙娜麗莎的微笑 多倫多 諾伯特·維納 比薩餅 2019-09-17

'國內首個專為快消、零售業定製的AI模型訓練平臺'

"您的「關注」，我們的動力↑ ↑ ↑新經銷感謝有你！百度AI技術生態部高級技術經理謝永康在新經銷主辦的2019中國快消品大會上介紹了百度AI技術的集大成者——百度大腦的整體架構，也分享了當下百度大腦針對快消業所提供的AI能力，以及未來的佈局。百度大腦整體框架謝永康首先介紹了...

人工智能 技術 百度 雲計算 大數據 算法 萬物嚐鮮節 自然語言處理 2019-09-15

'南京科技創新創業大賽獲獎者：30人6年研究出芯片中的珠穆朗瑪峰'

"南京科技創新創業大賽落幕，獲獎者這樣說：30人6年研究出芯片中的珠穆朗瑪峰9月9日下午，由南京市科技局主辦，南京廣電集團和南京市火炬中心共同承辦的“2019創業金陵——南京科技創新創業大賽暨第七屆創業江蘇——科技創業大賽南京賽區頒獎典禮”在南京廣播電視臺舉行。大賽根據分數...

南京 創業 珠穆朗瑪峰 江蘇 技術 GPU 高峰 智能手機 人生第一份工作 設計 2019-09-13

'盤點11款燒腦解謎類手遊，休閒殺時間的好方式'

"【解謎類手遊合集】是我們整理的第38期合集，感謝一直支持和關注我的小夥伴們。解謎益智類的手遊，作者並不感冒，因為這類手遊玩法和畫面比較簡單，節奏又有些慢，所以這類的手遊往常推薦的非常少，不過在尋找手遊的過程中，我們還是發現了不少有特點的解謎類手遊作品，本期整理一期合集分享...

小遊戲 iOS 美術 動畫 原汁原味的德系SUV 跑酷 紀念碑谷 文化 FLOW 網易 蘋果公司 恐怖電影 2019-09-09

'除了類腦芯片，還有這些人工智能將首次亮相本屆工博會'

"工業是實體經濟的主體，也是技術創新的主戰場。伴隨新一輪技術革命，我國正加快推進以科技進步和創新驅動的核心的產業升級。從1999年就開始舉辦的中國國際工業博覽會（下稱“工博會”），也是助力我國工業創新發展和開放合作，助推全球工業技術、產品交流和交易的重要平臺。上海市政府新聞...

技術 上海 人工智能 經濟 設計 中芯國際 2019-09-08

'AI賦能業務安全，芯盾時代要引領新藍海風向'

"9月3日，以“安全+AI”為主題的芯盾時代業務安全解決方案媒體發佈會在北京召開，芯盾時代全面詮釋了“以人為核心”的業務安全理念，詳細介紹了覆蓋人與業務交互全流程、場景化的業務安全解決方案。芯盾時代基於零信任安全模型，以人工智能、大數據等技術與業務相融合，助力企業跨越業務安...

人工智能 技術 金融 北京銀行 移動互聯網 大數據 經濟 南京銀行 銀行 華泰證券 投資 頭號大贏家| 理財大賽第二季 2019-09-06

'\'芯\'思不減，\'AI\'心無限，一文帶你讀懂華為的人工智能戰略佈局'

"圖片來源於互聯網8月23日，華為在深圳阪田基地推出AI芯片昇騰910和開源計算框架MindSpore，華為公司輪值董事長徐直軍在發佈會上表示：昇騰910、MindSpore的推出，標誌著華為已完成全棧全場景AI解決方案（AI Portfolio）的構建。一提起華為，人們首...

人工智能 華為公司 技術 我的第一部5G手機 智能手機 自然語言處理 電腦 雲計算 硬件 物聯網 納米技術 中央處理器 GPU 算法 任正非 Google 耳機 經濟 筆記本電腦 穿戴設備 投資 機器學習 列奧納多·達·芬奇 Facebook 深圳 2019-09-06

'全棧全場景AI領銜，華為的“芯”武器如何打破谷歌們的圍剿？'

"科技雲如今，華為在5G和芯片領域的壓迫性優勢已讓美國有所忌憚，中美兩國科技企業你來我往短兵相接，硝煙之後市場格局將與今天完全不同。就在美國商務部決定將華為在美交易臨時許可證延長90天后，華為正式發佈全新AI處理器以及計算框架。​昇騰910+MindSpore框架釋放雲端A...

人工智能 Google 華為公司 雲計算 英偉達 技術 IaaS 物聯網 操作系統 武器 GPU 算法 我的第一部5G手機 機器學習 中央處理器 納米技術 2019-09-05

'中國首款車規級ai芯片在滬發佈“芯”界珠峰再添一將'

"中國首款車規級AI芯片在滬發佈。主辦方供圖劉思江 科技日報記者 王春車載AI芯片是人工智能行業的珠穆朗瑪，也是自動駕駛實現大規模落地的前提。8月30日，乘著2019世界人工智能大會的風，國內首款車規級AI處理器——征程二代芯片在滬亮相。該芯片用於汽車自動駕駛系統，賦能汽車...

人工智能 無人駕駛 新能源汽車 技術 屏住呼吸智能汽車來了 算法 人機交互 GPU 設計 英特爾 語音識別技術 珠穆朗瑪峰 Ultrasone 臺灣積體電路製造公司 工業設計 2019-09-04

'科學家造全球首個存算一體通用AI芯片，類腦計算關鍵元件再獲驗證'

"作為模擬人類大腦處理信息的計算技術，神經形態計算被認為是實現通用人工智能的重要方向之一。它與傳統的計算技術相比，最主要的一個區別在於其擺脫馮·諾依曼架構存算分離的枷鎖，追求人腦神經元的高效整合形式，將數據存儲和處理的功能集中在相同的計算單元上，從而可以能效更高、性能更好、...

人工智能 中央處理器 算法 電腦 盧偉 英特爾 設計 硬件 高通 人生第一份工作 大學 IBM 格羅寧根大學 密歇根大學 能源 2019-09-03

'中國首款車規級AI芯片在滬發佈'

"8月30日，人工智能（AI）芯片技術公司地平線在上海發佈了中國首款車規級AI芯片——“征程”二代。地平線創始人兼CEO餘凱介紹說，基於地平線自主研發的高性能計算架構BPU2.0，征程二代芯片於2019年初流片成功。目前，該芯片的開發套件已準備就緒，可支持用戶直接進行產品設...

人工智能 無人駕駛 技術 設計 工業設計 算法 人機交互 日升動畫 文化 跳槽那些事兒 2019-09-01

'張宏江對話美國四院院士：類腦芯片即將來臨'

"高山大學2019年經典課程授課老師：特倫斯·謝洛夫斯基：人工智能科學家，美國國家科學院院士、美國國家醫學院院士、美國國家工程院院士、美國國家藝術與科學學院院士、美國物理學會會士、國際電氣與電子工程師協會（IEEE）會士。張宏江：高山大學創始校董，校董會終身榮譽主席。現任源...

技術 人工智能 電腦 工程師 算法 萊特兄弟 大學 物理 微軟 體育 鳥 康奈爾大學 讓夢發生 諾貝爾獎 首飾 大數據 相對論 阿爾伯特·愛因斯坦 2019-09-01

'奔騰不止的芯，助力AI跨越時代'

"人工智能在幾年前還是一個很少人知道的名詞，在快速發展的時代，這個名詞出現在大街小巷，無論什麼產品都能和AI扯上關係，AI產品成了高級的代名詞，每一個企業都有自己的人工智能領域，光是手機領域，就有蘋果的Siri，小米的小艾等層出不窮的人工智能語音助手，更別說智能家電，智能汽...

人工智能 英特爾 Xeon 百度 百度雲 搜索引擎 屏住呼吸智能汽車來了 雲計算 愛奇藝 技術 人生第一份工作 大數據 數據挖掘 蘋果公司 軟件 Siri 2019-09-01

'最近這3款芯片發佈，或代表著中國在AI芯上，真的已經超過美國了'

"眾所周知，手機芯片中配置AI，最早是華為提出來的，並且在麒麟970中成為了現實。隨後手機AI高速發展，現在基本上所有的手機芯片，在發佈時都會講自己的AI性能。當然，手機AI只是AI高速發展的一個剪影，這些年在各種芯片、手機、電腦等科技產品中，基本上都會提到AI，儼然AI已...

人工智能 華為公司 我的第一部5G手機 電腦 高通 寒武紀 無人駕駛 2019-08-31

'班級優化大師潛力模型上場，用AI發現每個孩子的潛力'

"“你真的瞭解自己的孩子嗎？”當你面對這個問題，不知道是否有確切的答案。如果我們對孩子的瞭解僅限在家庭表現；如果我們無法通過孩子的外在表現發現潛在能力；如果我們只能聚焦學業，或按感覺去培養孩子；那我們將錯失挖掘孩子潛力的，最佳時機......如何科學評估並全面洞察孩子的潛力...

人工智能 技術 不完美媽媽 算法 人生第一份工作 2019-08-30

'華為攻“芯”記：昇騰910正式商用 AI戰略提速'

"時代週報記者 曾憲天 發自深圳華為正在加快佈局AI的步伐。8月23日，華為在深圳總部推出AI（人工智能）處理器Ascend 910（昇騰910）。實際上，早在2018年10月的華為全聯接大會上，昇騰910芯片便已與華為AI戰略、華為全棧全場景AI解決方案一同登場。據瞭解，...

華為公司 人工智能 技術 英特爾 X86 恩智浦半導體 英偉達 無人駕駛 操作系統 電腦 我的第一部5G手機 物聯網 ARM 阿里巴巴集團 Google 高通 任正非 深圳 機器人 特斯拉汽車 百度 設計 人生第一份工作 2019-08-29

'「芯團網」一文看懂IC、NAND、AI全面發展'

"高科技領域在5G的技術加持下已經逐漸全面發展的勢態，AI作為未來發展的終端展現核心陣地，需要後端更強有力的芯片支持，包括存儲芯片、控制芯片在內，是高科技領域的三大支柱產業！AIIC芯片行業新突破眾所周知，從芯片問世以來基本採用Si（硅）作為晶圓的基座，其保持有良好的硬度、...

人工智能 華為公司 技術 我的第一部5G手機 Facebook Google 東芝 雲計算 電腦 大數據 物聯網 2019-08-29

'浙江大學團隊推出類腦芯片'

"來源：內容編譯自「浙江在線」，謝謝。要讓機器像人類一樣擁有“智慧”，一個聰明的“大腦”必不可少。日前，由浙江大學牽頭研發完成的脈衝神經網絡類腦芯片“達爾文2”在杭州發佈，杭州電子科技大學與華為中央研究院分別參與了芯片研製與算法和應用場景研究工作，該芯片為機器裝上“人腦”提...

浙江大學 人工智能 大學 電子科技大學 華為公司 浙江省 算法 查爾斯·達爾文 操作系統 恩智浦半導體 文章 英偉達 自然科學 超微半導體 電腦 2019-08-29

'這款結合AR的AI模型，可幫醫生準確識別疼痛位置'

"對醫生而言，準確判斷患者疼痛位置對於醫療診斷和治療至關重要，不過疼痛往往難以量化，且多數評估都是主觀的。為此，密歇根大學和部分研究者決定通過基於移動神經影像的AR＋AI的一個臨床應用框架：CLARAi。這是一套結合AR＋AI的醫療技術研究，該方案將機器學習模型與AR技術結...

增強現實 人工智能 技術 可視化技術 CNN 設計 軟件 密歇根大學 硬件 微軟 經濟 2019-08-27

'初跨IC佔C位，依圖：用“芯”、“算”造就AI未來'

"集微網消息，芯片是人工智能技術發展過程中繞不過的話題，好的AI算法要想導入應用，就需要通過芯片來實現。縱觀AI芯片的演進，經歷了從“通用”到“專用”的變化。相伴而生的是，AI驅動芯片產業變革已逐漸轉向芯片驅動AI產業變革，而“綁定式”發展也必將是未來兩者相生的狀態。走過通...

人工智能 算法 技術 英偉達 英特爾 中央處理器 GPU 軟件 Google 賽靈思 魏少軍 華為公司 通信 經濟 2019-08-17

推薦中...