儘管人工智能取得了所有進步，但大多數基於人工智能的產品仍然依賴於“深度神經網絡”，這種網絡往往非常龐大且訓練成本過高。麻省理工學院的研究人員希望改變這種狀況。在今天發表的一篇論文中，研究人員發現，神經網絡包含的子網絡小10倍，教學成本更低，速度更快。
為了訓練大多數神經網絡，工程師為他們提供大量數據集，但這可能需要數天和昂貴的GPU。來自麻省理工學院計算機科學與人工智能實驗室（CSAIL）的研究人員發現，在那些受過訓練的網絡中，較小的子網絡可以做出同樣準確的預測。CSAIL所謂的“彩票假設”基於這樣一種觀點，即培訓大多數神經網絡就像購買彩票中的所有門票以保證獲勝一樣。相比之下，培訓子網就像購買中獎票一樣。
問題在於，研究人員還沒有想出如何在不構建完整神經網絡的情況下找到這些子網，然後修剪掉不必要的位。如果他們能夠找到一種方法來跳過這一步並直接進入子網，這個過程可以節省數小時的工作量，並使訓練神經網絡可供個別程序員使用 - 而不僅僅是大公司。但是，確定如何有效地找到子網並理解為什麼有些人在學習上比其他人更好，這可能會使研究人員忙碌多年。
相關推薦
'你訓練的神經網絡不對頭的37個原因'
"作者：Slav Ivanov編譯：ronghuaiyang導讀大家都遇到過這種情況，訓練的時候沒什麼問題，測試的時候就不對勁了，想找問題，感覺無處入手，那麼今天，給你37個建議，看看再說吧。這個網絡在過去12個小時中一直在進行訓練。一切看起來都很好：梯度在流動，損失在降低...
'2019231期福彩3D：今天關注這一類號碼開出，精彩更容易屬於你'
"2019231期專業玩彩福彩3D分析朋友們大家好，我是你們的老朋友專業玩彩，今天是2019年8月26日，星期一，今天該第2019231期福彩3D開獎，下面我們把今天的福彩3D一起溝通交流下，看看今天的福彩3D，有哪些號碼可以關注，有哪些形態值得期待。回顧昨天昨天福彩3D開...
彩票
2019-08-27
'數據挖掘發現新版Switch使用更強GPU功耗更低閃存'
"如果你最近兩天關注我們3DM對Switch的報道，那肯定知道任天堂除了9月20日會推出掌機玩法的Switch Lite之外，還將對現有Switch進行硬件更新升級。很多玩家對於Switch硬件升級表現出了更多的興趣，今日有人通過數據挖掘，提供了新版Switch相關的消息。...
全連接的神經網絡，更寬廣的視野
作者 | 言有三（微信號：Longlongtogo）編輯 | 言有三與全連接神經網絡相比，卷積神經網絡在每一層是局部的，採用了較小的卷積核，感受實際對應到...
神經網絡訓練的三個基本概念Epoch, Batch, Iteration
深度神經網絡的優化都是基本都是基於梯度下降的，梯度下降的過程就是尋找函數值下降速度最快的方向，沿著該方向迭代，快速到達局部最優解的過程。梯度下降更新參數的...
推薦中...