原作：Ross Taylor

嶽排槐 編譯整理

量子位 出品 | 公眾號 QbitAI

追蹤深度學習這樣一個大熱領域的進展並不容易。

為了解決這個問題，年初我和Robert Stojnic搞了Papers With Code，這個網站把深度學習的研究論文和代碼結合在一起。

這也能讓我們有機會鳥瞰這個領域，包括研究趨勢、熱門框架以及哪些技術正受到青睞。這篇博文就用來分享這些。

以下的趨勢總結，都來自於網站的數據。我們一起來總結下2018下半年的關鍵突破，以及深度學習社群的未來之路。

最熱模型：BERT、vid2vid和graph_nets

Google AI十月發佈的BERT論文，引發了深度學習界的強烈關注。這篇論文提出了一種深度雙向Transformer模型。BERT刷新了11種NLP任務的最佳表現，包括斯坦福問答數據集（SQuAD）。

Google AI隨後開源了這篇論文的代碼，一個月的時間，BERT在GitHub上已經獲得8000多次的標星，而且還在快速增加。

論文：

https://arxiv.org/abs/1810.04805

GitHub地址：

https://github.com/google-research/bert

英偉達的Video-to-Video（vid2vid）合成論文，介紹了一個效果驚人的生成模型，過去幾年裡這也是最受歡迎的深度學習領域之一。

這篇論文利用新穎的順序生成器架構，以及一些諸如前景和背景先驗（foreground-and-background priors）等設計特徵，來修復時間不連貫的問題，進而提高性能。

英偉達也開源了代碼，成為今年下半年第二大最受歡迎的實現。

論文：

https://arxiv.org/abs/1808.06601

GitHub地址：

https://github.com/NVIDIA/vid2vid

Google DeepMind關於圖網絡（graph_nets）的論文，在年中的時候獲得了大量的關注。這個研究，為深度學習提供了一種數據結構化的新方向。這是今年下半年第三大最後歡迎的實現。

論文：

https://arxiv.org/abs/1806.01261v3

GitHub地址：

https://github.com/deepmind/graph_nets

最流行的項目：DeOldify、BERT和Fast R-CNN

DeOldify是一個使用GAN修復黑白老照片以及重新上色的項目。

這個項目在深度學習社群引發極大的興趣，作者Jason Antic使用了SA-GANs、PG-GANs等完成了搭建。目前，這個項目在GitHub上超過4000標星。

GitHub地址：

https://github.com/jantic/DeOldify

BERT的PyTorch實現，也獲得了廣泛關注。

這個實現是韓國小哥Junseong Kim完成的，他表示代碼很簡單，而且也易於理解，其中一些代碼基於The Annotated Transformer。目前這個項目在GitHub上獲得1500多標星。

GitHub地址：

https://github.com/codertimo/BERT-pytorch

最後要介紹的，是Mask R-CNN的Keras/TensorFlow實現。

這個項目的架構，基於一個Feature Pyramid Network和一個ResNet101 backbone。這個庫可用於多種場景，例如3D場景重建、自動駕駛的目標檢測等。目前這個項目在GitHub上標星超過8000。

GitHub地址：

https://github.com/matterport/Mask_RCNN

數說現狀

NLP和GAN最熱

查看Top50的實現，最熱門的字段是生成模型和自然語言處理。

在生成模型中，GitHub上流行的實現包括：vid2vid，DeOldify，CycleGAN以及faceswaps。

在NLP領域，GitHub上流行的倉庫包括：BERT，HanLP，jieba，AllenNLP以及fastText。

7篇新論文中，只有1篇附代碼

每隔20分鐘，就會出現一片新機器學習論文

自從7月以來，機器學習論文的月增長率一直在3.5%左右，年增長率約50%。這意味著每個月2200篇機器學習論文被髮布，明年約有3萬篇新機器學習論文會被髮布。

這個速度比摩爾定律還快。

框架雙寡頭：TensorFlow和PyTorch

最後，如果你還沒聽說過Papers With Code，下面是傳送門：

https://paperswithcode.com/

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態