'香港科技大學開發出全新的雙層全光學神經網絡'

"

導讀

據美國光學學會官網近日報道,香港科技大學的研究人員演示了一種全新的多層全光學人工神經網絡,向著實用的大規模光學神經網絡邁出了關鍵一步。

背景

大腦是人體最重要的器官之一,它支撐著人的視覺、聽覺、平衡、味覺、嗅覺、記憶、情感、學習等。大腦的構造十分複雜,它由大約1千億個神經元(Neuron)組成,並由約100萬億個突觸(Synapse)連接。這些神經元與突觸一起構成了一個極其龐大的生物神經網絡。

"

導讀

據美國光學學會官網近日報道,香港科技大學的研究人員演示了一種全新的多層全光學人工神經網絡,向著實用的大規模光學神經網絡邁出了關鍵一步。

背景

大腦是人體最重要的器官之一,它支撐著人的視覺、聽覺、平衡、味覺、嗅覺、記憶、情感、學習等。大腦的構造十分複雜,它由大約1千億個神經元(Neuron)組成,並由約100萬億個突觸(Synapse)連接。這些神經元與突觸一起構成了一個極其龐大的生物神經網絡。

香港科技大學開發出全新的雙層全光學神經網絡

生物神經網絡中的神經元與突觸(圖片來源:維基百科)

生物神經網絡使大腦具有非常強大的計算與學習能力,能以非常低的功耗,並行處理大量數據。即便是如今最強大的計算機,當涉及到模式識別、風險管理及其他類似的複雜任務時,也仍然無法與人腦抗衡。

"

導讀

據美國光學學會官網近日報道,香港科技大學的研究人員演示了一種全新的多層全光學人工神經網絡,向著實用的大規模光學神經網絡邁出了關鍵一步。

背景

大腦是人體最重要的器官之一,它支撐著人的視覺、聽覺、平衡、味覺、嗅覺、記憶、情感、學習等。大腦的構造十分複雜,它由大約1千億個神經元(Neuron)組成,並由約100萬億個突觸(Synapse)連接。這些神經元與突觸一起構成了一個極其龐大的生物神經網絡。

香港科技大學開發出全新的雙層全光學神經網絡

生物神經網絡中的神經元與突觸(圖片來源:維基百科)

生物神經網絡使大腦具有非常強大的計算與學習能力,能以非常低的功耗,並行處理大量數據。即便是如今最強大的計算機,當涉及到模式識別、風險管理及其他類似的複雜任務時,也仍然無法與人腦抗衡。

香港科技大學開發出全新的雙層全光學神經網絡

為了模仿人腦的工作方式,科學家們提出了人工神經網絡(Artificial Neural Network,即ANN)。它從信息處理角度對人腦神經元網絡進行抽象,建立某種簡單模型,按不同的連接方式組成不同的網絡。人工神經網絡是一種可實現並行計算的分佈式系統,具有自適應、自組織和實時學習等特點。

可是,採用人工神經網絡執行各種任務,例如無人駕駛、語音識別、科學研究,需要大量的計算資源。這樣不僅會消耗很多能量,也會花費很長時間。一般來說,學習這些任務需要採用集成大量處理器的大型計算機,而訓練時間會長達到數週甚至數月。

為此,科學家們一直在努力探索新的神經網絡系統解決方案,其中比較典型的有“基於憶阻器的神經網絡”與“光學神經網絡”。今天,我們要重點關注的是光學神經網絡。與基於傳統計算機處理器的神經網絡相比,採用光學器件打造的光學神經網絡的處理速度更快,功耗更低。

例如,去年8月,美國加州大學洛杉磯分校(UCLA)的科研團隊放棄採用速度慢、能耗高的傳統電子硬件,取而代之的是採用光波實現幾乎零能耗、零延遲的深度學習系統。他們提出一種全光學的深度學習框架:衍射深度神經網絡(Diffractive Deep Neural Network,D2NN)。該網絡利用層級傳播的光衍射來執行計算,實現了手寫數字的圖像識別。

"

導讀

據美國光學學會官網近日報道,香港科技大學的研究人員演示了一種全新的多層全光學人工神經網絡,向著實用的大規模光學神經網絡邁出了關鍵一步。

背景

大腦是人體最重要的器官之一,它支撐著人的視覺、聽覺、平衡、味覺、嗅覺、記憶、情感、學習等。大腦的構造十分複雜,它由大約1千億個神經元(Neuron)組成,並由約100萬億個突觸(Synapse)連接。這些神經元與突觸一起構成了一個極其龐大的生物神經網絡。

香港科技大學開發出全新的雙層全光學神經網絡

生物神經網絡中的神經元與突觸(圖片來源:維基百科)

生物神經網絡使大腦具有非常強大的計算與學習能力,能以非常低的功耗,並行處理大量數據。即便是如今最強大的計算機,當涉及到模式識別、風險管理及其他類似的複雜任務時,也仍然無法與人腦抗衡。

香港科技大學開發出全新的雙層全光學神經網絡

為了模仿人腦的工作方式,科學家們提出了人工神經網絡(Artificial Neural Network,即ANN)。它從信息處理角度對人腦神經元網絡進行抽象,建立某種簡單模型,按不同的連接方式組成不同的網絡。人工神經網絡是一種可實現並行計算的分佈式系統,具有自適應、自組織和實時學習等特點。

可是,採用人工神經網絡執行各種任務,例如無人駕駛、語音識別、科學研究,需要大量的計算資源。這樣不僅會消耗很多能量,也會花費很長時間。一般來說,學習這些任務需要採用集成大量處理器的大型計算機,而訓練時間會長達到數週甚至數月。

為此,科學家們一直在努力探索新的神經網絡系統解決方案,其中比較典型的有“基於憶阻器的神經網絡”與“光學神經網絡”。今天,我們要重點關注的是光學神經網絡。與基於傳統計算機處理器的神經網絡相比,採用光學器件打造的光學神經網絡的處理速度更快,功耗更低。

例如,去年8月,美國加州大學洛杉磯分校(UCLA)的科研團隊放棄採用速度慢、能耗高的傳統電子硬件,取而代之的是採用光波實現幾乎零能耗、零延遲的深度學習系統。他們提出一種全光學的深度學習框架:衍射深度神經網絡(Diffractive Deep Neural Network,D2NN)。該網絡利用層級傳播的光衍射來執行計算,實現了手寫數字的圖像識別。

香港科技大學開發出全新的雙層全光學神經網絡

(圖片來源:UCLA)

又例如,今年5月,德國明斯特大學、英國牛津大學和埃克塞特大學成功開發出包含人工神經元網絡的芯片,這種人工神經元能在光線作用下工作,模仿人腦神經元與突觸的行為。這種光學神經突觸網絡能像大腦一樣“學習“信息。因為這個系統僅僅過光線運行,而不是通過傳統的電子運行,所以處理速度要快許多倍。

"

導讀

據美國光學學會官網近日報道,香港科技大學的研究人員演示了一種全新的多層全光學人工神經網絡,向著實用的大規模光學神經網絡邁出了關鍵一步。

背景

大腦是人體最重要的器官之一,它支撐著人的視覺、聽覺、平衡、味覺、嗅覺、記憶、情感、學習等。大腦的構造十分複雜,它由大約1千億個神經元(Neuron)組成,並由約100萬億個突觸(Synapse)連接。這些神經元與突觸一起構成了一個極其龐大的生物神經網絡。

香港科技大學開發出全新的雙層全光學神經網絡

生物神經網絡中的神經元與突觸(圖片來源:維基百科)

生物神經網絡使大腦具有非常強大的計算與學習能力,能以非常低的功耗,並行處理大量數據。即便是如今最強大的計算機,當涉及到模式識別、風險管理及其他類似的複雜任務時,也仍然無法與人腦抗衡。

香港科技大學開發出全新的雙層全光學神經網絡

為了模仿人腦的工作方式,科學家們提出了人工神經網絡(Artificial Neural Network,即ANN)。它從信息處理角度對人腦神經元網絡進行抽象,建立某種簡單模型,按不同的連接方式組成不同的網絡。人工神經網絡是一種可實現並行計算的分佈式系統,具有自適應、自組織和實時學習等特點。

可是,採用人工神經網絡執行各種任務,例如無人駕駛、語音識別、科學研究,需要大量的計算資源。這樣不僅會消耗很多能量,也會花費很長時間。一般來說,學習這些任務需要採用集成大量處理器的大型計算機,而訓練時間會長達到數週甚至數月。

為此,科學家們一直在努力探索新的神經網絡系統解決方案,其中比較典型的有“基於憶阻器的神經網絡”與“光學神經網絡”。今天,我們要重點關注的是光學神經網絡。與基於傳統計算機處理器的神經網絡相比,採用光學器件打造的光學神經網絡的處理速度更快,功耗更低。

例如,去年8月,美國加州大學洛杉磯分校(UCLA)的科研團隊放棄採用速度慢、能耗高的傳統電子硬件,取而代之的是採用光波實現幾乎零能耗、零延遲的深度學習系統。他們提出一種全光學的深度學習框架:衍射深度神經網絡(Diffractive Deep Neural Network,D2NN)。該網絡利用層級傳播的光衍射來執行計算,實現了手寫數字的圖像識別。

香港科技大學開發出全新的雙層全光學神經網絡

(圖片來源:UCLA)

又例如,今年5月,德國明斯特大學、英國牛津大學和埃克塞特大學成功開發出包含人工神經元網絡的芯片,這種人工神經元能在光線作用下工作,模仿人腦神經元與突觸的行為。這種光學神經突觸網絡能像大腦一樣“學習“信息。因為這個系統僅僅過光線運行,而不是通過傳統的電子運行,所以處理速度要快許多倍。

香港科技大學開發出全新的雙層全光學神經網絡

能模仿生物神經元系統的全光學類腦計算芯片示意圖。(圖片來源:Johannes Feldmann)

創新

近日,香港科技大學的研究人員演示了一種全新的多層全光學人工神經網絡,向著實用的大規模光學神經網絡邁出了關鍵一步。

"

導讀

據美國光學學會官網近日報道,香港科技大學的研究人員演示了一種全新的多層全光學人工神經網絡,向著實用的大規模光學神經網絡邁出了關鍵一步。

背景

大腦是人體最重要的器官之一,它支撐著人的視覺、聽覺、平衡、味覺、嗅覺、記憶、情感、學習等。大腦的構造十分複雜,它由大約1千億個神經元(Neuron)組成,並由約100萬億個突觸(Synapse)連接。這些神經元與突觸一起構成了一個極其龐大的生物神經網絡。

香港科技大學開發出全新的雙層全光學神經網絡

生物神經網絡中的神經元與突觸(圖片來源:維基百科)

生物神經網絡使大腦具有非常強大的計算與學習能力,能以非常低的功耗,並行處理大量數據。即便是如今最強大的計算機,當涉及到模式識別、風險管理及其他類似的複雜任務時,也仍然無法與人腦抗衡。

香港科技大學開發出全新的雙層全光學神經網絡

為了模仿人腦的工作方式,科學家們提出了人工神經網絡(Artificial Neural Network,即ANN)。它從信息處理角度對人腦神經元網絡進行抽象,建立某種簡單模型,按不同的連接方式組成不同的網絡。人工神經網絡是一種可實現並行計算的分佈式系統,具有自適應、自組織和實時學習等特點。

可是,採用人工神經網絡執行各種任務,例如無人駕駛、語音識別、科學研究,需要大量的計算資源。這樣不僅會消耗很多能量,也會花費很長時間。一般來說,學習這些任務需要採用集成大量處理器的大型計算機,而訓練時間會長達到數週甚至數月。

為此,科學家們一直在努力探索新的神經網絡系統解決方案,其中比較典型的有“基於憶阻器的神經網絡”與“光學神經網絡”。今天,我們要重點關注的是光學神經網絡。與基於傳統計算機處理器的神經網絡相比,採用光學器件打造的光學神經網絡的處理速度更快,功耗更低。

例如,去年8月,美國加州大學洛杉磯分校(UCLA)的科研團隊放棄採用速度慢、能耗高的傳統電子硬件,取而代之的是採用光波實現幾乎零能耗、零延遲的深度學習系統。他們提出一種全光學的深度學習框架:衍射深度神經網絡(Diffractive Deep Neural Network,D2NN)。該網絡利用層級傳播的光衍射來執行計算,實現了手寫數字的圖像識別。

香港科技大學開發出全新的雙層全光學神經網絡

(圖片來源:UCLA)

又例如,今年5月,德國明斯特大學、英國牛津大學和埃克塞特大學成功開發出包含人工神經元網絡的芯片,這種人工神經元能在光線作用下工作,模仿人腦神經元與突觸的行為。這種光學神經突觸網絡能像大腦一樣“學習“信息。因為這個系統僅僅過光線運行,而不是通過傳統的電子運行,所以處理速度要快許多倍。

香港科技大學開發出全新的雙層全光學神經網絡

能模仿生物神經元系統的全光學類腦計算芯片示意圖。(圖片來源:Johannes Feldmann)

創新

近日,香港科技大學的研究人員演示了一種全新的多層全光學人工神經網絡,向著實用的大規模光學神經網絡邁出了關鍵一步。

香港科技大學開發出全新的雙層全光學神經網絡

(圖片來源:Olivia Wang, Peng Cheng Laboratory)

在美國光學學會高影響力學術期刊《Optica》上,該校研究人員詳細描述了他們的雙層全光學神經網絡,併成功地將它應用於一項複雜的分類任務。

技術

在傳統的混合光學神經網絡中,光學組件通常用於線性運算,而非線性激勵函數(模仿人腦中神經元響應方式的函數)通常會採用電子方式實現,因為非線性光學器件通常需要大功率激光器,而大功率激光器在光學神經網絡中很難實現。

為了克服這一挑戰,研究人員採用具有電磁誘導透明效應的冷原子執行非線性函數。研究團隊成員之一的杜晟旺(Shengwang Du,音譯)表示:“這種光誘導效應能以非常弱的激光功率實現。因為這種效應是基於非線性量子干涉,所以它有可能將我們的系統擴展到量子神經網絡中,從而解決經典方法難以解決的問題。”

為了確認新方案的能力與可行性,研究人員構造了一個兩層全連接全光學神經網絡,其輸入單元與輸出單元的數目分別為16和2。研究人員採用他們的全光學網絡對一種磁性統計模型“伊辛模型(Ising model)”的有序相和無序相進行分類。研究結果表明,全光學神經網絡與訓練有素的計算機基神經網絡一樣準確。

下圖所示:普通的全光學神經網絡。(a) 一種典型的雙層神經網絡 ;(b)包含線性與非線性運算功能的光學神經元的實驗實現原理圖。

"

導讀

據美國光學學會官網近日報道,香港科技大學的研究人員演示了一種全新的多層全光學人工神經網絡,向著實用的大規模光學神經網絡邁出了關鍵一步。

背景

大腦是人體最重要的器官之一,它支撐著人的視覺、聽覺、平衡、味覺、嗅覺、記憶、情感、學習等。大腦的構造十分複雜,它由大約1千億個神經元(Neuron)組成,並由約100萬億個突觸(Synapse)連接。這些神經元與突觸一起構成了一個極其龐大的生物神經網絡。

香港科技大學開發出全新的雙層全光學神經網絡

生物神經網絡中的神經元與突觸(圖片來源:維基百科)

生物神經網絡使大腦具有非常強大的計算與學習能力,能以非常低的功耗,並行處理大量數據。即便是如今最強大的計算機,當涉及到模式識別、風險管理及其他類似的複雜任務時,也仍然無法與人腦抗衡。

香港科技大學開發出全新的雙層全光學神經網絡

為了模仿人腦的工作方式,科學家們提出了人工神經網絡(Artificial Neural Network,即ANN)。它從信息處理角度對人腦神經元網絡進行抽象,建立某種簡單模型,按不同的連接方式組成不同的網絡。人工神經網絡是一種可實現並行計算的分佈式系統,具有自適應、自組織和實時學習等特點。

可是,採用人工神經網絡執行各種任務,例如無人駕駛、語音識別、科學研究,需要大量的計算資源。這樣不僅會消耗很多能量,也會花費很長時間。一般來說,學習這些任務需要採用集成大量處理器的大型計算機,而訓練時間會長達到數週甚至數月。

為此,科學家們一直在努力探索新的神經網絡系統解決方案,其中比較典型的有“基於憶阻器的神經網絡”與“光學神經網絡”。今天,我們要重點關注的是光學神經網絡。與基於傳統計算機處理器的神經網絡相比,採用光學器件打造的光學神經網絡的處理速度更快,功耗更低。

例如,去年8月,美國加州大學洛杉磯分校(UCLA)的科研團隊放棄採用速度慢、能耗高的傳統電子硬件,取而代之的是採用光波實現幾乎零能耗、零延遲的深度學習系統。他們提出一種全光學的深度學習框架:衍射深度神經網絡(Diffractive Deep Neural Network,D2NN)。該網絡利用層級傳播的光衍射來執行計算,實現了手寫數字的圖像識別。

香港科技大學開發出全新的雙層全光學神經網絡

(圖片來源:UCLA)

又例如,今年5月,德國明斯特大學、英國牛津大學和埃克塞特大學成功開發出包含人工神經元網絡的芯片,這種人工神經元能在光線作用下工作,模仿人腦神經元與突觸的行為。這種光學神經突觸網絡能像大腦一樣“學習“信息。因為這個系統僅僅過光線運行,而不是通過傳統的電子運行,所以處理速度要快許多倍。

香港科技大學開發出全新的雙層全光學神經網絡

能模仿生物神經元系統的全光學類腦計算芯片示意圖。(圖片來源:Johannes Feldmann)

創新

近日,香港科技大學的研究人員演示了一種全新的多層全光學人工神經網絡,向著實用的大規模光學神經網絡邁出了關鍵一步。

香港科技大學開發出全新的雙層全光學神經網絡

(圖片來源:Olivia Wang, Peng Cheng Laboratory)

在美國光學學會高影響力學術期刊《Optica》上,該校研究人員詳細描述了他們的雙層全光學神經網絡,併成功地將它應用於一項複雜的分類任務。

技術

在傳統的混合光學神經網絡中,光學組件通常用於線性運算,而非線性激勵函數(模仿人腦中神經元響應方式的函數)通常會採用電子方式實現,因為非線性光學器件通常需要大功率激光器,而大功率激光器在光學神經網絡中很難實現。

為了克服這一挑戰,研究人員採用具有電磁誘導透明效應的冷原子執行非線性函數。研究團隊成員之一的杜晟旺(Shengwang Du,音譯)表示:“這種光誘導效應能以非常弱的激光功率實現。因為這種效應是基於非線性量子干涉,所以它有可能將我們的系統擴展到量子神經網絡中,從而解決經典方法難以解決的問題。”

為了確認新方案的能力與可行性,研究人員構造了一個兩層全連接全光學神經網絡,其輸入單元與輸出單元的數目分別為16和2。研究人員採用他們的全光學網絡對一種磁性統計模型“伊辛模型(Ising model)”的有序相和無序相進行分類。研究結果表明,全光學神經網絡與訓練有素的計算機基神經網絡一樣準確。

下圖所示:普通的全光學神經網絡。(a) 一種典型的雙層神經網絡 ;(b)包含線性與非線性運算功能的光學神經元的實驗實現原理圖。

香港科技大學開發出全新的雙層全光學神經網絡

(圖片來源:參考資料【1】)

價值

研究團隊成員之一的劉俊偉(Junwei Liu, 音譯)表示:“我們的全光學方案可以實現一種以光速執行光學並行計算的神經網絡,並且消耗的能量很少。這種大規模的全光學神經網絡將應用於從圖像識別到科學研究的諸多領域。”

研究人員們計劃將這種全光學方案拓展至具有複雜架構的大規模全光學深度神經網絡,這些神經網絡是為特殊的實際應用例如圖像識別而設計的。這將有助於論證以更大規模運行的方案。

杜晟旺(音)表示:“儘管我們的工作是一種原理論證性的演示,但它表明,未來開發光學版本的人工智能將成為可能。”劉俊偉(音)補充道:“新一代的人工智能硬件,與當今的計算機基人工智能相比,本質上要快得多,而且功耗更低。”

關鍵字

光學、大腦、神經網絡、人工智能

參考資料

【1】Ying Zuo, Bohan Li, Yujun Zhao, Yue Jiang, You-Chiuan Chen, Peng Chen, Gyu-Boong Jo, Junwei Liu, Shengwang Du. All-optical neural network with nonlinear activation functions. Optica, 2019; 6 (9): 1132 DOI: 10.1364/OPTICA.6.001132

【2】https://www.osa.org/en-us/about_osa/newsroom/news_releases/2019/optica_neural_network/

"

相關推薦

推薦中...