研究人員已經開發出一種算法，可以將大腦聽覺部分的神經信號轉換成合成語音
在一項具有里程碑意義的重大突破中，科學家展示了一種計算機系統，可以有效地將大腦信號轉換成可理解的語言。這項非同尋常的實驗提供了一種概念驗證，它可能為未來各種各樣的大腦控制通信設備鋪平道路。
神經工程師在通往有效的大腦-計算機接口的道路上面臨著一個巨大的障礙，那就是試圖將我們大腦產生的大量信號轉換成易於傳播的文字和圖像。在科幻小說中，僅僅通過思考就能控制設備或與他人交流的想法是緩慢的，但卻是肯定的，越來越接近現實。
最近機器學習技術的進步使得科學家能夠處理大量的抽象數據。就在去年，加拿大的一個研究小組公佈了一種算法，可以利用腦電圖(EEG)數據，對測試對象展示的面孔進行數字重建。
將腦電波轉換成文字是研究人員面臨的另一個巨大挑戰，但在機器學習算法的幫助下，近年來又取得了驚人的進展。一組美國神經工程師的最新研究成果顯示，一種計算機算法可以解碼從人類聽覺皮層記錄下來的信號，並將其轉換成可理解的語言。
該研究首先收集了5名癲癇患者在接受神經外科手術期間的數據。患者的大腦中植入了多種電極，研究人員可以在患者聽四個不同人講的連續簡短故事時，記錄下全面的皮質電圖測量結果。由於需要在患者進行腦部手術時收集這些數據的侵入性，因此只能從每個人那裡收集大約30分鐘的神經記錄。
這項新研究的資深作者尼瑪•梅斯加拉尼(Nima Mesgarani)解釋說:“我們與梅塔博士(執行該手術的神經外科醫生)合作，讓已經接受腦部手術的癲癇患者聽不同人說的句子，同時我們測量大腦活動的模式。”“這些神經模式訓練了聲音編碼器。”
為了測試算法的有效性，系統被要求對原始訓練數據中不包含的從0到9的聲音進行解碼。當講話者背誦數字時，病人的大腦信號被記錄下來，並通過聲音編碼器播放。然後，一個神經網絡分析和清理了語音編碼器產生的輸出。
梅斯加拉尼說:“我們發現，人們能夠聽懂並重復這些聲音的時間約為75%，遠遠超過以往的任何嘗試。”“靈敏的聲音編碼器和強大的神經網絡以驚人的準確度再現了患者最初聽到的聲音。”
梅斯加拉尼欣然承認，這種技術的實際應用可能至少需要10年的時間。畢竟，我們不可能輕易地在大腦中植入大量電極來記錄這些神經信號。然而，作為一項概念驗證，這項研究具有一定的開創性，證明了人類聽覺皮層處理的信號可以被解碼為語音。如果這些粗略的結果可以從這麼小的數據集中產生，那麼我們只能想象從更大的數據量中可以產生什麼。
Mesgarani和他的團隊下一步是改進算法，看看是否可以從相同的聽覺神經數據中解碼出更復雜的單詞和句子。從那以後，我們的目標將從簡單的解碼聽覺數據轉移到尋找準確的神經數據，這些數據可以將想象說話的行為轉換成合成的單詞。
梅斯加拉尼說:“在這種情況下，如果佩戴者認為‘我需要一杯水’，我們的系統可以接收到這種想法產生的大腦信號，並將其轉化為合成的語言。”這將改變遊戲規則。這將給任何由於受傷或疾病而失去說話能力的人重新獲得與周圍世界聯繫的機會。
這項新研究發表在《科學報告》雜誌上。