全新數據集:橋接人類視覺與機器學習(計算機視覺)的“巨無霸”

神經科學家和計算機視覺科學家表示,一個新的空前大的數據集將幫助研究人員更好地理解大腦是如何處理圖像信息的,該數據集包括四個志願者的腦部掃描數據,每個志願者都能掃描5000張圖像。

卡內基梅隆大學和福特漢姆大學的研究人員在 Scientific Data 雜誌上發表的文章稱,獲取這種規模的 fMRI 掃描帶來了獨特的挑戰。


全新數據集:橋接人類視覺與機器學習(計算機視覺)的“巨無霸”

圖示 來自4個志願者的一組新的 fMRI 掃描數據,將幫助研究人員更好地理解大腦是如何處理視覺圖像


每位志願者都參加了20小時或更長時間的 MRI 掃描,這挑戰了他們的毅力和實驗者在掃描過程中的協調能力。 為了解開與視覺成像相關的神經反應祕密,在如此長的時間段內對同一個個體進行實驗的極端設計策略是必要的。

由此產生的數據集,命名為BOLD5000,使認知神經科學家能夠更好地利用深度學習模型,這極大地改善了人工視覺系統。 最初受人類視覺系統的啟發,不斷深入研究人類視覺工作的方式可以進一步改進深度學習,以及對人類視覺的研究可以更好提高現代計算機視覺方法。 為此,BOLD5000 測量了當觀看來源於兩個流行的計算機視覺數據集(ImageNet 和COCO)的圖像時,產生的神經活動。

全新數據集:橋接人類視覺與機器學習(計算機視覺)的“巨無霸”

http://bold5000.github.io/


"腦科學和計算機科學的結合意味著科學發現可以雙向流動,"共同作者、認知與腦科學教授、CMU心理學系系主任 Michael J.Tarr說。 "未來的研究可利用 BOLD5000 數據集,應該有助於神經科學家更好地理解人腦中的知識。 隨著我們更多地瞭解視覺識別的神經基礎,我們也將更好地為人工視覺的進步做出貢獻。"

第一作者 Nadine Chang 是 CMU 機器人研究所的博士生,他專門研究計算機視覺。他建議計算機視覺科學家們將目光投向神經科學,以助力在快速發展的人工視覺領域的創新——這強化了這項研究的雙向性質

"計算機視覺科學家和視覺神經科學家的最終目標基本上是相同的:瞭解如何處理和解釋視覺信息,"Chang 說。

改善計算機視覺是 BOLD5000 項目開始時的一個重要部分。 主要作者 Elissa Aminoff,曾為 CMU 心理學系的博士後,現為 Fordham 的心理學助理教授,與 Robotics Institute 的副教授 Abhinav Gupta 共同發起了這一研究。

連接生物和計算機視覺所面臨的挑戰之一是,大多數人類神經成像研究包括非常少的激活圖像——通常為100張或更少——這些激活圖像通常被簡化為在中性背景下僅描繪單個對象。 相反,BOLD5000 包括 5000 多個真實世界、場景的複雜圖像、單個對象和交互對象

該小組認為 BOLD5000 只是利用現代計算機視覺模型研究生物視覺的第一步。

"坦率地說,BOLD5000 數據集仍然太小,"Tarr 表明,鑑於用於分析視覺圖像的深層神經網絡需要在數百萬圖像上訓練,一個合理的 fMRI 數據集將需要至少5萬個圖像和更多志願者來取得進展。 為此,研究小組希望他們生成 5000個腦部掃描數據集,為人類視覺和計算機視覺科學家之間日後更大的合作鋪平道路。

到目前為止,該領域的反應是積極的。 公開可用的 BOLD5000 數據集已經下載了2500多次。

除了Chang、Tarr、Gupta 和 Aminoff 之外,研究團隊還包括 John A. Pyles,他是 CMU-Pitt Bridge Center 的高級研究科學家和科學運營總監,Austin Marcus 是 Tarr 實驗室的研究助理。 美國國家科學基金會, 海軍研究辦公室,the Alfred P. Sloan 基金會和 Okawa 信息和電信基金會贊助了這項研究。

參考文獻:

1. Chang N, Pyles J A, Gupta A, et al. BOLD5000: A public fMRI dataset of 5000 images[J]. arXiv preprint arXiv:1809.01281, 2018.

2. https://bold5000.github.io/




作者信息

Ben(brainnews創作團隊成員)

校審/排版:Simon (brainnews編輯部)

相關推薦

推薦中...