基於生物神經元的計算機芯片可能有助於模擬更大、更復雜的大腦模型。

上圖： 智能芯片

Heidelberg 小組的物理學家 Karlheinz Meier 設計的神經形態芯片。 芯片上有384個由100,000個突觸連接的人工神經元，其運行速度大約是大腦計算速度的100,000倍。 海德堡大學

2012年，計算機科學家Dharmendra Modha 用強大的超級計算機模擬了5000多億神經元的活動——甚至比人腦中850多億左右的神經元還要多。這是近10年來研究的頂峰，Modha 從模擬齧齒類動物和貓的大腦發展到了人類那樣的規模。

模擬消耗了巨大的計算資源——150萬個處理器和150拍字節（150萬GB）的內存——但速度仍然極其緩慢，比大腦計算的速度慢1500倍。

Modha 估計，要實現生物實時運行，需要12千兆瓦的能量，大約是胡佛大壩最大產能的六倍。 "然而，這只是大腦活動的一幅簡化版漫畫，"位於加州北部的IBM Almaden 研究中心的大腦啟發計算首席科學家 Modha 說。 模擬結果與人類大腦的功能完全不同，人類大腦的耗電量與20瓦的燈泡差不多。

自21世紀初以來，硬件的改進以及實驗和理論神經科學的進步使研究人員能夠創造出更大、更詳細的大腦模型。但這些模擬越複雜，它們就越會遇到傳統計算機硬件的侷限，如 Modha 的超耗電模型。

這是我們可以承擔的最具雄心的技術難題之一——大腦的逆向工程。——邁克·戴維斯，英特爾公司

Modha 的人腦模擬是在 Lawrence Livermore 國家實驗室的 Blue Gene/Q Sequoia 超級計算機上進行的，這是傳統計算機硬件的一個非常強大的集合體：它由大量傳統的計算機芯片，只有指甲大小的卻包含數百萬晶體管的硅片提供動力。控制傳統計算機芯片結構和功能的規則與我們大腦的規則大不相同。

事實上，當涉及到數字運算等任務時，計算機的"思維"與我們的大腦非常不同，這使它們有一個優勢，卻同時使它們在理解人類語言或從經驗中學習等其他領域中變得十分原始初級。

如果科學家想要模擬一個與人類智力相匹配的大腦，傳統計算機就更無優勢了，可能必須從構建更好的模塊開始——構建受我們大腦啟發的計算機芯片。

所謂的神經形態芯片（neurophorphic chip）複製了大腦的結構——也就是說，它們使用類似於神經元動作電位的"神經元尖峰"來相互交流。 這種尖峰行為允許芯片消耗非常少的功率，並且即使在拼接到非常大規模的系統中時也保持有效的功率。

"我心目中最大的優勢是可擴展性，"安大略省滑鐵盧大學的理論神經科學家 Chris Eliassmith 說。在他的《如何構建大腦》一書中，Eliassmith 描述了他創建並命名為 Spaun 的大腦功能的大規模模型。當Eliassmith 運行 Spaun 的最初版本，擁有250萬個"神經元"時，即使模型運行在最好的傳統芯片上，它也比生物神經元慢20倍^【1】。

他說："每次我們加入幾百萬個神經元，速度就會慢得多。" 當 Eliassmith 在數字神經形態硬件上運行他的模型時，他發現它們不僅快得多，而且功率效率提升大約50倍。更妙的是，當 Eliassmith 模擬更多的神經元時，神經形態平臺變得更有效。 這是神經形態芯片在複製自然的方式之一，當它們從蠕蟲腦中的300個神經元擴大到人類大腦中的850億左右時，大腦的運算能力和效率似乎都在增加。

神經形態芯片在執行復雜計算任務的同時消耗很少能量的能力，已經引起了科技產業界的注意。 神經形態芯片的潛在商業應用包括節能超級計算機、低功率傳感器和自學習機器人。 但是生物學家有一個不同的想法：建立一個功能完備的人腦複製品。

功耗網絡

神經形態硬件從動物神經系統的結構中提取一部分特性，模擬生物神經元的動作電位的尖峰傳遞信號。該特徵允許硬件消耗少得多的功率，並且運行比傳統芯片快幾個數量級的腦模擬。

THE SCIENTIST STAFF; INTEL CORPORATION; © ISTOCK.COM, JOLYGON; © ISTOCK.COM, VADIM ZHAKUPOV; 照片由 UNISEM EUROPE LTD 提供; © HEIDELBERG UNIVERSITY; INTEL CORPORATION; IBM RESEARCH

當今的許多神經形態系統，從 IBM 和英特爾開發的芯片到作為歐盟人腦項目一部分而設計的兩個芯片，也可供研究人員使用，他們可以遠程訪問這些系統來運行模擬。

研究人員正在使用這些芯片來創建單個神經元和突觸的詳細模型，並破譯各單元是如何結合在一起，來創建大腦的子系統的。這些芯片能夠讓神經科學家在硬件層面上測試視覺、聽覺和嗅覺的工作理論，而不僅僅是在軟件上。最新的神經形態系統也使研究人員能夠開始一項更具挑戰性的任務：複製人類的思維和學習方式。

現在還為時尚早，真正釋放神經形態芯片的潛力仍需要理論、實驗和計算神經科學家，以及計算機科學家和工程師的共同努力。 但最終是一個宏大的目標——弄清楚大腦的各個組成部分是如何共同創造思想、感覺甚至意識的。

"這是我們可以承擔的最具雄心的技術難題之一——大腦的逆向工程，“英特爾神經形態計算實驗室主任、計算機工程師Mike Davies說。

一切都和結構有關

加州理工學院的科學家Carver Mead 在20世紀80年代發明了"神經形態"一詞，他注意到，與構成現代計算機芯片的數字晶體管不同，模擬晶體管更接近地反映了神經元的生物物理學。

具體而言，模擬電路中非常微小的電流——非常微小以至於電路實際上是"斷開"的——表現出類似離子通過生物神經元中的通道流動的動力學形態，該流動不會產生動作電位。

出於對 Mead 及其同事工作的興趣，Giacomo Indiveri 決定在20世紀90年代中期在加州理工學院進行博士後研究。現在是瑞士蘇黎世大學的神經形態工程師，Indiveri 所領導的研究小組繼續 Mead 使用低電流模擬電路的方法，是少數堅持該方向的研究小組之一。 Indiveri 和他的團隊手工設計芯片的佈局，這個過程可能需要幾個月的時間。他說："這是用筆和紙的工作，因為我們試圖找到實現神經動力學的優雅解決方案。"

如果你在做模擬，如今它仍然是一門藝術。——蘇黎世大學 Giacomo Indiveri

一旦他們最終確定了佈局，他們就會把設計電路給一家代工廠——一家生產智能手機和電腦芯片的精密金屬鑄造廠。最終的結果看起來就像一個智能手機芯片，但它的功能就像一個"神經元"網絡，通過幾個節點傳遞尖峰電流。

在這些模擬神經形態芯片中，信號可通過電壓尖峰在強度上實際變化來實現傳遞。就像在大腦中一樣，信息是通過來自不同神經元的限時尖峰信號的來傳遞的。

"如果你向神經生理學家展示這些神經元中的一個的輸出，他將無法告訴你它是來自硅神經元還是來自生物神經元，"Indiveri 說。

這些硅神經元代表了複製生物體神經系統，也叫 wetware（與硬件 hardware 相對）的不完美嘗試。生物神經元是混合的模擬-數字系統； 它們的動作電位模擬數字硬件的離散脈衝，神經元中的電壓電平影響所傳輸的信息。

神經形態芯片的特徵是與生物神經元的物理行為非常相似，該模擬性質也使得它們傳輸的信號不那麼精確。雖然我們的大腦已經進化到可以補償其不精確的部分，但研究人員卻依然將這個不精確性的基本概念引入了數字領域。

IBM 和英特爾等公司一直專注於數字神經形態芯片，其硅神經元複製了信息在生物神經元中流動的方式，但具有不同的物理特性，這與傳統的數字芯片佔據了我們絕大多數電腦和電子產品的原因相同——它們的可靠性更高，製造更容易。

照片由 UNISEM EUROPE LTD 提供

構建模塊： 每個 SpiNNaker 芯片與內存一起封裝（左上），然後拼接成更大的設備，如右上方的48節點板。 多個板可以連接在一起以形成更大的 SpiNNaker 系統（上圖）。圖片由曼徹斯特大學，STEVE FURBER 和他的同事提供

這些數字芯片保留神經形態以捕獲大腦結構。 在這些數字神經形態芯片中，尖峰信號是以信息包的形式出現的，而不是電壓變化的實際脈衝。英特爾的 Davies 說："這與我們通常在電腦上設計的任何東西都有很大的不同。"

不管尖峰信號採取什麼形式，系統只在輸入達到某個閾值時才會轉發消息，再允許神經形態芯片進行操作，而不是不斷地消耗功率。 這與大腦神經元相互交流方式類似，它們是在準備好的時候（電壓達到動作電位）而不是在計時員的命令下進行交流的方式類似。傳統的芯片大多是線性的，在嚴格的內部時鐘的控制下，在存儲數據的存儲器硬件和計算數據的處理器之間傳遞數據。

當Modha設計IBM的神經形態芯片TrueNorth時，他首先分析了大腦的長距離接線圖，這些接線圖描繪了獼猴和人類大腦不同區域之間的連接方式^【2】。它告訴我們有關長距離連接，短距離連接以及神經元和突觸動力學的信息，”他說。

到2011年，Modha 創建了一個包含256個硅神經元的芯片，與秀麗隱杆線蟲的大腦規模相同。利用最新的芯片製造技術，Modha 將神經元壓縮得更緊密，並將4096個芯片拼接在一起，從而在2014年發佈了 TrueNorth，該芯片包含100萬個合成神經元——大約相當於蜜蜂大腦的大小——而功耗卻比傳統芯片降低幾百倍^【3】 。

像 TrueNorth 這樣的神經形態芯片，在當中的人工神經元之間具有非常高的連通性，與哺乳動物大腦中所觀察到的一樣。人類大腦的850億個神經元通過大約1萬億個突觸高度互連。

TrueNorth 要簡單得多——它包含了2.56億個”突觸“以連接100萬個神經元——但通過將多個TrueNorth 芯片拼接在一起，Modha 創建了兩個更大的系統：

• 一個模擬1600萬個神經元和40億個突觸
• 另一個模擬6400萬個神經元和160億個突觸。

目前，來自不同機構的200多名研究人員可以免費使用 TrueNorth。

神經形態芯片除了有高度互連和突出的特性之外，它們還複製了生物神經系統的另一個特徵：與傳統的將處理器和內存配置在不同位置的計算機芯片不同，神經形態芯片往往有許多微型處理器，每個處理器都有少量的內置內存。

這種配置與人腦的組織方式類似，可同時進行數據存儲和處理。研究人員認為，神經形態結構的這一特性可以使利用這些芯片構建的模型更好地複製人類的學習和記憶。

學習能力是英特爾 Loihi 芯片的一個關注點，該芯片於2017年9月首次發佈，並於去年1月與研究人員共享。為了模擬大約13萬個神經元和1.3億個突觸，Loihi 結合了可塑性時間依賴性峰電位（STDP）模型，這種機制通過在大腦內突觸前和突觸後峰電位的相對時間來調節突觸的連接強度^【4】。

如果一個神經元剛好在第二神經元之前激發，則其與第二神經元的連接增強，而如果激發順序相反，則連接強度減弱。 突觸強度的這些變化被認為在人腦的學習和記憶中起著重要的作用。

領導 Loihi 研究的 Davies 說，它的目的是捕捉我們的大腦所擅長的，而目前的人工智能模型卻不擅長的那種快速、終身的學習。和 TrueNorth 一樣，Loihi 也被分發給了不同的研究人員。戴維斯說，隨著越來越多的研究小組使用這些芯片來模擬大腦，"我們希望可以將大腦中那些驚人能力所依據的廣泛原理，漸漸變得清晰起來。"

神經科學的神經形態學

對於所有潛在的科學應用，TrueNorth 和 Loihi 並不是專門為神經學家設計的。他們主要是研究芯片，旨在測試和優化神經形態架構，以提高其能力和易用性，以及探索各種潛在的商業應用。

從語音和手勢識別到節能機器人和設備上的機器學習模型，這些模型可以為智能智能手機和自動駕駛汽車提供動力。另一方面，歐盟的人類大腦項目開發了兩個神經形態硬件系統，其明確目標是理解大腦。

BrainScaleS 於2016年推出^【5】，它將大量芯片集成在大型硅片上——更像是超薄的飛盤，而不是手指甲大小。每個晶圓包含384個模擬芯片，其操作類似於升級版本的 Indiveri 模擬芯片，針對速度而非低功耗進行優化。每個晶片可模擬大約20萬個神經元和4900萬個突觸。

建立大腦的功能模型

神經形態技術正在推動更大、更復雜的大腦模型發展，這些模型已經快達到現代超級計算的運力極限。Spaun 就是一個例子。250萬神經元模型重構了人類大腦執行各種認知任務的若干特徵結構和功能。就像人類一樣，相比長序列，它更容易記住一個短序列的數字，並且比中間的數字更容易記住前幾個和最後幾個數字。

雖然研究人員已經在傳統硬件上運行了部分當前 Spaun 模型，但神經形態芯片對於有效執行目前正在開發的更大、更復雜版本的模型將是至關重要的。

當顯示一系列數字(1)時，Spaun 的視覺系統將每個數字的圖像壓縮並編碼為特定的信號模式，這種模式與生物神經元激發的信號模式相類似。 然後將關於每個圖像的信息-——即數字的概念——編碼為另一種峰值信號模式(2)，然後將該信號模式及相關的數字在序列(3)中的位置信息，一起壓縮並存儲在工作存儲器中。 這個過程模擬了視覺和顳皮質中的視覺輸入的分析和編碼，以及頂葉和前額皮質中的存儲。

當被要求在某個時間之後回憶該序列時，模型的信息解碼區域依次從存儲列表(4)中解壓縮每個數字，並且電動處理系統將所得到的概念映射到激發系統，形成激發模式(5)。最後，電機系統翻譯該激發模式，命令物理臂的繪製每個數字(6)。這類似於人類的回憶，頂葉皮層從大腦的存儲區域（如前額葉皮層）提取記憶，並將其轉化為運動區域的行為。

BrainScaleS，以及歐盟其他被稱為 SpiNNaker 的神經形態系統，受益於成為人類大腦項目一部分，這是一個龐大的理論、實驗和計算神經科學家群體。與這個社區的互動，使得系統中不斷增加有助於科學家的新功能，而這些新發現又迅速回饋支持該研究領域。

20年前，英國曼徹斯特大學的計算機工程師Steve Furber 構想了 SpiNNaker，十多年來他一直在設計它。Furber 說，在花了大約6年時間研究 SpiNNaker 背後的小型數字芯片，之後他和他的同事在2011年實現了全功能。

自那以後，研究小組一直在把這些芯片組裝成越來越大的機器，最終在2018年末啟動了一臺百萬處理器的機器。Furber 預計，SpiNNaker 應該能夠實時模擬老鼠大腦中的1億個神經元——而傳統超級計算機的要實現這個目標速度要慢1000倍左右^【6】。

目前學界實驗室可免費訪問歐盟人類大腦項目系統。神經學家開始在 SpiNNaker 硬件上運行他們自己的程序，以模擬大腦特定子系統中的高級處理，例如小腦、皮層或基底節。

例如，研究人員試圖模擬一個小的重複結構單位——微皮層柱——它位於大腦外層，負責大多數高級功能。"微柱很小，但它仍然有8萬個神經元和25億個突觸，所以建模並不是一件小事，"Furber 說。

接下來，他補充道，"我們開始考慮系統層面，而不僅僅是個別的大腦區域"，逐漸接近於為人類智能提供動力的850億神經元的全尺寸模型。

模仿大腦

達特茅斯學院的計算神經學家 Richard Granger 說，使用神經形態硬件對大腦建模可以揭示神經元計算的基本原理。神經學家可以非常詳細地測量神經元的生物物理和化學性質，但是很難知道這些性質中的哪一個對大腦的計算能力實際上是重要的。儘管用於神經形態芯片的材料與人類大腦的細胞物質完全不同，但使用這種新硬件的模型可以揭示大腦如何傳遞和評估信息的計算原理。

在硅中複製簡單的神經迴路幫助 Indiveri 發現大腦設計的潛在好處。 他曾經給一位博士生一塊神經形態芯片，該芯片有能力模擬峰值頻率適應性，這是一種讓人類習慣於持續刺激的機制。

為了在芯片上留出空間，學生決定不實現這個功能。然而，當他努力降低芯片的帶寬和功率要求時，他最終得到的結果看起來與他已經移除的峰值頻率適應性相同。

Indiveri 和他的同事還發現，在長距離上發送模擬信號的最佳方式不是將它們表示為例如連續可變的流，而是表示為一系列尖峰信號，就像神經元所做的那樣。Indiveri 說："如果你想最小化功率和帶寬，神經元所使用的是最佳的信號傳輸技術。"

神經形態硬件也可以讓研究人員測試他們關於大腦功能的理論。 康奈爾大學的計算神經學家 Thomas Cleland 建立了嗅球模型，以闡明我們嗅覺形成的原理。使用 Loihi 芯片使他能夠建立足夠快的硬件模型來模仿生物學。

當從化學傳感器（作為我們的氣味受體的人工版本）獲得數據時，系統在僅僅暴露於一個樣本之後就學會了識別氣味，超越了傳統的機器學習方法，更接近人類的高級嗅探器。

Davies 說："通過成功地仿製出目標，並在神經形態芯片中的運行，這是一個很好的確認，你確實瞭解這個系統。"

Cleland 的嗅覺模型並不總是能達到預期的效果，但那些"失敗"的實驗也同樣具有啟發性。氣味輸入有時在傳感器看來與模型預測的不同，可能是因為氣味信號比預期的更復雜或更嘈雜，或者因為溫度或溼度干擾了傳感器。 他說："輸入變得有些古怪，我們知道這不會愚弄我們的鼻子。"

研究人員發現，通過關注先前忽略的氣味輸入中的"噪聲"，嗅覺系統模型可以正確地檢測到更廣泛的輸入 結果 Cleland 更新了他的嗅覺模型，研究人員現在可以觀察生物系統，看看他們是否使用這種以前未知的技術來識別複雜的或嘈雜的氣味。

Cleland 希望擴大他的模型，它可以在生物實時層面運行，以分析來自成百上千個傳感器的氣味數據，而在非神經形態硬件上這可能需要幾天的時間運行。

"只要我們能把算法放到神經形態芯片上，那麼它的規模就會非常可觀，"他說。 "對我來說，最令人興奮的事情是能夠運行這些來自16000個傳感器的數據集，以看看當我們擴大規模時，算法會有多好。"

SpiNNaker、TrueNorth 和 Loihi 都可以在生物學中以相同的速度運行神經元和大腦的模擬，這意味著研究人員可以使用這些芯片識別刺激——比如圖像、手勢或聲音——並在它們出現時立即處理和響應它們。除了允許 Cleland 的人造鼻子處理氣味，這些能力可以使機器人能夠實時感知和反應他們的環境，而消耗很少的能量。 與大多數傳統計算機相比，這是一個巨大的進步。

對於一些應用程序，如建模學習過程，可能需要數週、數月甚至數年，它有助於更快一些。這就是 BrainScaleS 出現的原因，它的運算速度比生物大腦快1000-10000倍。而且這個系統只會變得更先進。 它正在升級到 BrainScaleS2，新的處理器是在神經科學家的密切合作下開發的。

新系統將能夠更好地模擬學習和模擬化學過程，例如多巴胺對學習的影響，而這在其他神經形態系統中是無法複製的。研究人員說，它還將能夠模擬各種類型的神經元、樹突和離子通道，以及結構可塑性的特徵，如突觸的喪失和生長。

也許有一天，這個系統甚至能夠近似人類的學習能力和智力。 "我認為，理解生物智能是本世紀最大的問題，"海德堡大學的生物物理學家 Johannes Schemmel 說，他曾幫助開發 BrainScaleS。

查閱 The Intelligence Puzzle，The Scientist，2018年11月

當前的人工智能系統在靈活性和學習能力方面仍然落後於大腦。 Furber 說："谷歌的網絡在給貓看了一千萬張貓的照片後，就能很好地識別貓的圖像，但如果你給我兩歲的孫子看一隻貓，他一輩子都能認出貓。"

隨著 Loihi 將於今年晚些時候推出，Eliasmith 希望能夠為他的 Spaun 模型增加更多高級認知和學習行為。他說，他特別興奮地試圖精確地模擬人類如何能夠快速而容易地學習認知任務，比如一個新的棋盤遊戲。著名的人工智能玩家，如 AlphaGo，必須模擬數以百萬計的遊戲來學習如何玩得好。

目前尚不清楚，複製人類智力是否只是個建立更大、更精細的大腦模型的問題。 "我們只是不知道我們思考大腦的運作方式是否有根本的缺陷，"Eliassmith 說。"我們不知道我們能走多遠，除非我們有更好的硬件，能夠用數億個神經元實時運行這些東西，"他說。"這就是我認為神經形態學將幫助我們實現的目標。"

參考文獻：

1. C. Eliasmith et al., “A large-scale model of the functioning brain,” Science, 338:1202–05, 2012.

2. D.S. Modha, R. Singh, “Network architecture of the long-distance pathways in the macaque brain,” PNAS, 107:13485–90, 2010.

3. P.A. Merolla et al. “A million spiking-neuron integrated circuit with a scalable communication network and interface,” Science, 345:668–73, 2014.

4. M. Davies et al. “Loihi: A neuromorphic manycore processor with on-chip learning,” IEEE Micro,38:82–99, 2018.

5. J. Schemmel et al., “A wafer-scale neuromorphic hardware system for large-scale neural modeling,” Proc 2010IEEEInt Symp Circ Sys, 2010.

6. S.B. Furber et al., “The SpiNNaker Project,” Proc IEEE, 102:652–65, 2014.

作者信息

作者：Sandeep ravindran （科學記者）

編寫：Ben（brainnews創作團隊成員）

校審/排版：Simon （brainnews編輯部）