1、Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models
來自Google，BN原作者的論文，batch renorm，在訓練的時候引入兩個新的變換參數r和d，降低了對minibatch的dependence，以解決BN在處理batchsize小或者樣本非iid情況下所存在的問題。
arxiv：https://arxiv.org/abs/1702.03275
2、Deep Forest: Towards An Alternative to Deep Neural Networks
摘要
在這篇論文裡，我們提出了 gcForest，這是一種決策樹集成方法（decision tree ensemble approach），性能較之深度神經網絡有很強的競爭力。深度神經網絡需要花大力氣調參，相比之下 gcForest 要容易訓練得多。實際上，在幾乎完全一樣的超參數設置下，gcForest 在處理不同領域（domain）的不同數據時，也能達到極佳的性能。gcForest 的訓練過程效率高且可擴展。在我們的實驗中，它在一臺 PC 上的訓練時間和在 GPU 設施上跑的深度神經網絡差不多，有鑑於 gcForest 天然適用於並行的部署，其效率高的優勢就更為明顯。此外，深度神經網絡需要大規模的訓練數據，而 gcForest 在僅有小規模訓練數據的情況下也照常運轉。不僅如此，作為一種基於樹的方法，gcForest 在理論分析方面也應當比深度神經網絡更加容易。
arxiv：https://arxiv.org/abs/1702.08835
3、Deep-HiTS: Rotation Invariant Convolutional Neural Network for Transient Detection
旋轉不變CNN用於星系形態預測
arxiv:https://arxiv.org/abs/1701.00458
code:https://github.com/guille-c/Deep-HiTS
4、Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction
首創性的將時空數據與深度學習結合起來，利用時空深度殘差網絡用於預測城市人流問題。
pdf:https://www.microsoft.com/en-us/research/wp-content/uploads/2016/11/ST-ResNet-AAAI17-Zhang.pdf
github:https://github.com/lucktroy/DeepST/tree/master/scripts/papers/AAAI17
5、DeepStack: Expert-Level Artificial Intelligence in No-Limit Poker
摘要
近些年來，人工智能領域出現了很多突破，其中游戲往往被用作重要的里程碑。過去實現那些成功的遊戲的一個常見的特徵是它們都具有完美信息（perfect information）的性質。撲克是一個典型的不完美信息（imperfect information）遊戲，而且其一直以來都是人工智能領域內的一個難題。在這篇論文中，我們介紹了 DeepStack，這是一種用於撲克這樣的不完美信息環境的新算法。它結合了迴歸推理（recursive reasoning）來處理信息不對稱性，還結合了分解（decomposition）來將計算集中到相關的決策上，以及一種形式的直覺（intuition）——該直覺可以使用深度學習進行自我玩牌而自動學習到。在一項涉及到 44000 手撲克的研究中，DeepStack 在一對一無限制德州撲克（heads-up no-limit Texas hold'em）上擊敗了職業撲克玩家。這種方法在理論上是可靠的，並且在實踐中也能得出比之前的方法更難以被利用的策略。
arxiv:https://arxiv.org/abs/1701.01724
6、DyNet: The Dynamic Neural Network Toolkit
這個框架是由CMU推出的一款深度學習框架，最大的特點是動態性，尤其擅長解決自然語言處理相關問題，c++實現，python封裝。
arxiv:https://arxiv.org/abs/1701.03980
code:https://github.com/clab/dynet
7、Learning Deep Nearest Neighbor Representations Using Differentiable Boundary Trees
摘要
隨著計算機硬件水平的進步和算法效率的提升，K 近鄰（K-Nearest neighbor/kNN）法近年來已經越來越受到歡迎。如今機器學習模型有很多算法可以選擇，每一種都有其自身的長處與短處。其中所有基於 K 近鄰（kNN）的方法都要求在樣本間有一個優良的表徵（representation）和距離度量（distance measure）。我們引進了可微分界樹（differentiable boundary tree）這一新方法，該方法能學習深度 K 近鄰的表徵（Deep kNN representations）。我們的方法建立在最近提出來的邊界樹（boundary tree）算法之上，該算法能進行高效的最近鄰分類、迴歸和檢索。通過將樹中的遍歷建模作為隨機事件（stochastic events），我們能構建與樹預測（tree's predictions）相關聯的可微分成本函數。通過使用深度神經網絡轉換（transform）數據還有沿樹進行反向傳播，模型就能學習 K 近鄰法的優良表徵。我們證明了該方法能學習合適的表徵，並通過清晰的可解釋架構提供一個非常高效的樹。
arxiv:https://arxiv.org/abs/1702.08833
8、Learning to Remember Rare Events
摘要
儘管近來已經取得了一些進步，但記憶增強的深度神經網絡（memory-augmented deep neural network）在終身學習（life-long learning）和一次性學習（one-shot learning）上的能力還很有限，在記憶罕見事件（rare events）上的能力尤其如此。我們提出了一種用於深度學習的大規模終身記憶模塊（large-scale life-long memory module）。這種模塊利用了快速最近鄰算法（fast nearest-neighbor algorithms）來提升效率，並且因此可以擴展到很大的記憶規模。除了最近鄰查詢（nearest-neighbor query），這種模塊還是完全可微分的，並且可以進行無需任何監督的端到端訓練。它是以一種終身方式（life-long manner）進行運作的，即在訓練過程中無需重置（reset）。我們的記憶模塊可以被輕鬆地添加到一個監督式神經網絡的任何部分。為了顯示其這種能力，我們將其添加到了多種網絡中——從在圖像分類上測試的簡單卷積網絡到深度序列到序列（deep sequence-to-sequence）和循環卷積（recurrent-convolutional）模型。在所有這些案例中，增強過的網絡都獲得了記憶能力並且可以進行終身一次性學習（life-long one-shot learning）。我們的模塊能夠記憶成千上萬個步驟之前所見過的訓練樣本，並且可以成功地在它們的基礎上進行泛化。我們在 Omniglot 數據集上實現了一次性學習的新的當前最佳表現，並且我們也首次在一個大規模機器翻譯任務中的循環神經網絡上演示了終身一次性學習。
pdf:https://openreview.net/pdf?id=SJTQLdqlg
tensorflow:https://github.com/tensorflow/models/tree/master/learning_to_remember_rare_events
9、OptNet: Differentiable Optimization as a Layer in Neural Networks.
深度網絡可微優化(二次規劃)層——用可微層神經網絡玩轉數獨
arxiv：https://arxiv.org/abs/1703.00443
code:https://github.com/locuslab/optnet
10、PathNet: Evolution Channels Gradient Descent in Super Neural Networks
摘要
如果多個用戶訓練同一個巨型神經網絡（giant neural network），同時允許參數複用，並且不會遺忘太多東西，則這對通用人工智能而言將是高效的。PathNet 是在這個方向上邁出的第一步。它是一個將代理嵌入到神經網絡中的神經網絡算法，其中代理的任務是為新任務發現網絡中可以複用的部分。代理是網絡之中的路徑（稱為 views），其決定了通過反向傳播算法的前向和後向通過而被使用和更新的參數的子集。在學習過程中，錦標賽選擇遺傳算法（tournament selection genetic algorithm）被用於選擇用於複製和突變的神經網絡的路徑。路徑適配（pathway fitness）即是通過成本函數來度量的自身的表現。我們實現了成功的遷移學習；固定了從任務 A 中學習的路徑的參數，並據此再進化出了用於任務 B 的新路徑，這樣任務 B 要比從頭開始或 fine-tuning 學習得更快。任務 B 中進化的路徑會複用任務 A 中進化出的最優路徑的一些部分。在二元的 MNIST、CIFAR 和 SVHN 監督學習分類任務和一系列的 Atari、Labyrinth 強化學習任務上，我們都實現了正遷移，這表明 PathNet 在訓練神經網絡上具有通用性應用能力。最後，PathNet 也可以顯著提高一個平行異步強化學習算法（A3C）的超參數選擇的穩健性。
相關推薦
