'深度學習-機器學習從入門到深入全套資源分享'

深度學習、機器學習從入門到深入，全套資源分享。涉及深度學習、機器學習數學、算法基礎理論、實戰和工程開發相關最佳資源。深度學習常用模型相關教程，深度學習模型優化、調參相關技巧；深度學習常用的框架，公開數據集、國際頂級會議等相關資源。

本文內容整理自網絡，原文地址：https://github.com/Mikoto10032/DeepLearning

一. 入門資料

完備的 AI 學習路線，最詳細的中英文資源整理 ⭐️

AiLearning: 機器學習 - MachineLearning - ML、深度學習 - DeepLearning - DL、自然語言處理 NL

數學基礎

機器學習基礎

快速入門

推薦順序由前到後

機器學習算法地圖

機器學習 吳恩達 Coursera個人筆記 && 視頻（含官方筆記）

百頁機器學習

機器學習 吳恩達 cs229個人筆記 && 官網（筆記） && 視頻（中文字幕）

深入理解

推薦順序由前到後

《模式識別與機器學習》 Christopher Bishop

《機器學習》 周志華

《機器學習實戰》 PelerHarrington

機器學習與深度學習書單

深度學習基礎

快速入門

推薦順序由前到後

深度學習思維導圖 && 深度學習算法地圖

《斯坦福大學深度學習基礎教程》 Andrew Ng（吳恩達）

深度學習 吳恩達 個人筆記 && 視頻

MIT深度學習基礎-2019視頻課程

臺灣大學（NTU）李宏毅教授課程

圖解深度學習_Grokking-Deep-Learning

《神經網絡與深度學習》 Michael Nielsen

CS321-Hinton

CS230: Deep Learning

CS294-112

計算機視覺

CS231 李飛飛 已授權個人翻譯筆記 && 視頻

計算機視覺研究方向

自然語言處理

CS224n: Natural Language Processing with Deep Learning

NLP上手教程

NLP入門推薦書目（2019版）

深度強化學習

CS234: Reinforcement Learning

深入理解

《深度學習》 Yoshua Bengio.Ian GoodFellow

⭐️

《自然語言處理》Jacob Eisenstein

《強化學習》 && 第二版

hangdong的深度學習博客,論文推薦

Practical Deep Learning for Coders, v3

《Tensorflow實戰Google深度學習框架》 鄭澤宇 顧思宇

一些書單

2019年最新-深度學習、生成對抗、Pytorch優秀教材推薦

工程能力

LeetCode && leetcode題解 && 《算法導論》中算法的C++實現

機器學習算法實戰

深度學習框架

如何成為一名算法工程師 && 從小白到入門算法，我的經驗分享給你～ && 我的研究生這三年

⭐️

《AI算法工程師手冊》

【完結】深度學習CV算法工程師從入門到初級面試有多遠，大概是25篇文章的距離

計算機相關技術面試必備

算法工程師面試

深度學習面試題目

深度學習500問

AI算法崗求職攻略

Kaggle實戰

Feature Engineering：continue variable && categorical variable

Classic machine learning algorithm：LR, KNN, SVM, Random Forest, GBDT(XGBoost&&LightGBM), Factorization Machine, Field-aware Factorization Machine, Neural Network

Cross validation, model selection：grid search, random search, hyper-opt

Ensemble learning

常用算法：

Kaggle 項目實戰（教程） = 文檔 + 代碼 + 視頻

Kaggle入門系列：（一）機器學習環境搭建 && Kaggle入門系列：（二）Kaggle簡介 && Kaggle入門系列（三）Titanic初試身手

從 0 到 1 走進 Kaggle

Kaggle 入門指南

一個框架解決幾乎所有機器學習問題 && Approaching (Almost) Any Machine Learning Problem | Abhishek Thakur

分分鐘帶你殺入Kaggle Top 1%

如何達到Kaggle競賽top 2%？這裡有一篇特徵探索經驗帖

如何在 Kaggle 首戰中進入前 10%？

大數據&機器學習相關競賽推薦

二. 神經網絡模型概覽

1. 一文看懂25個神經網絡模型

2. DNN概述論文：詳解前饋、卷積和循環神經網絡技術

3. colah's blog

4. Model Zoom

5. DNN概述

6. 從基本原理到梯度下降，小白都能看懂的神經網絡教程

GitHub上的機器學習/深度學習綜述項目合集

CNN

發展史

1. 94頁論文綜述卷積神經網絡：從基礎技術到研究前景

2. 從LeNet-5到DenseNet

3. CNN圖像分割簡史：從R-CNN到Mask R-CNN（譯）

4. 深度學習之目標檢測的前世今生（Mask R-CNN）

5. 縱覽輕量化卷積神經網絡：SqueezeNet、MobileNet、ShuffleNet、Xception

6. 深度學習目標檢測模型全面綜述：Faster R-CNN、R-FCN和SSD

7. 圖像語義分割(Semantic segmentation) Survey

7. 從RCNN到SSD，這應該是最全的一份目標檢測算法盤點

8. 圖像語義分割(Semantic segmentation) Survey * 9. 語義分割 發展綜述

深度學習分類網絡

CNN網絡結構的發展

卷積神經網絡結構演變（form Hubel and Wiesel to SENet）

從VGG到NASNet，一文概覽圖像分類網絡

From RCNN to YOLO：上，下

後 R-CNN時代， Faster R-CNN、SSD、YOLO 各類變體統治下的目標檢測綜述：Faster R-CNN系列勝了嗎？

目標檢測-20種模型的原味代碼彙總

目標檢測算法綜述三部曲

基於深度學習的目標檢測算法綜述（一）

基於深度學習的目標檢測算法綜述（二）

基於深度學習的目標檢測算法綜述（三）

如何走近深度學習人臉識別？你需要這篇超長綜述 | 附開源代碼

人臉檢測和識別算法綜述

人臉檢測算法綜述

人臉檢測背景介紹和發展現狀

人臉識別算法演化史

CascadeCNN

MTCNN

awesome-Face_Recognition

異質人臉識別研究綜述

老闆來了：人臉識別+手機推送，老闆來了你立刻知道。&& 手把手教你用Python實現人臉識別 && 人臉識別項目，網絡模型，損失函數，數據集相關總結

基於深度學習的人臉識別技術綜述 && 如何走近深度學習人臉識別？你需要這篇超長綜述 && 人臉識別損失函數綜述（附開源實現）

深度學習圖像超分辨率綜述

目標檢測進化史

一文看盡21篇目標檢測最新論文（騰訊/Google/商湯/曠視/清華/浙大/CMU/華科/中科院等

Anchor-Free目標檢測算法: 第一篇：arxiv2015_baidu_DenseBox， 如何評價最新的anchor-free目標檢測模型FoveaBox？, FCOS: 最新的one-stage逐像素目標檢測算法 && 最新的Anchor-Free目標檢測模型FCOS，現已開源！ && 中科院牛津華為諾亞提出CenterNet，one-stage detector可達47AP，已開源！ && AnchorFreeDetection

目標檢測算法綜述之FPN優化篇

聊聊Anchor的"前世今生"（上）

【CVPR2019正式公佈】行人重識別論文，2019 行人再識別年度進展回顧

2019CVPR文本檢測綜述

從SRCNN到EDSR，總結深度學習端到端超分辨率方法發展歷程

【CVPR2019正式公佈】行人重識別論文

自然場景文本檢測識別技術綜述

Awesome-Image-Colorization

Awesome-Edge-Detection-Papers

OCR文字處理

awesome-point-cloud-analysis

Graph Neural Network（GNN）綜述

小樣本學習（Few-shot Learning）綜述

超全深度學習細粒度圖像分析：項目、綜述、教程一網打盡

教程

卷積神經網絡工作原理

A Comprehensive Introduction to Different Types of Convolutions in Deep Learning && 翻譯：上、下

變形卷積核、可分離卷積

對深度可分離卷積、分組卷積、擴張卷積、轉置卷積（反捲積）的理解

各種卷積

卷積有多少種？一文讀懂深度學習中的各種卷積

反捲積

Convolution Network及其變種（反捲積、擴展卷積、因果卷積、圖卷積）

如何評價最新的Octave Convolution？

深度學習基礎--卷積類型

Dilated/Atrous conv 空洞卷積/多孔卷積

CNN模型之ShuffleNet

一文簡述ResNet及其多種變體

ResNet解析

將CNN引入目標檢測的開山之作：R-CNN

深度學習（十八）基於R-CNN的物體檢測

R-CNN論文詳解

深度學習（六十四）Faster R-CNN物體檢測

先理解Mask R-CNN的工作原理，然後構建顏色填充器應用

實例分割--Mask RCNN詳解(ROI Align / Loss Function)

語義分割卷積神經網絡快速入門

圖像語義分割的工作原理和CNN架構變遷

CapsNet入門系列

CapsNet入門系列之一：膠囊網絡背後的直覺

CapsNet入門系列之二：膠囊如何工作

CapsNet入門系列之三：囊間動態路由算法

CapsNet入門系列之四：膠囊網絡架構

YOLO

目標檢測|YOLOv2原理與實現(附YOLOv3)

目標檢測模型YOLO v3問世

Attention， 1，2，3，4，5

一文讀懂卷積神經網絡中的1x1卷積核

目標檢測之CornerNet, 1, 2, 3

人群計數, 1, 2, 3

RelationNetwork

ShuffleNet V2和四個網絡架構設計準則

【Tensorflow】tf.nn.depthwise_conv2d如何實現深度卷積?

Tensorflow】tf.nn.atrous_conv2d如何實現空洞卷積？

【Tensorflow】tf.nn.separable_conv2d如何實現深度可分卷積?

【TensorFlow】tf.nn.conv2d_transpose是怎樣實現反捲積的？

何愷明大神的「Focal Loss」，如何更好地理解？

CNN 模型所需的計算力（flops）和參數（parameters）數量是怎麼計算的？

Action

先讀懂CapsNet架構然後用TensorFlow實現

TensorFlow Object Detection API 教程

TensorFlow 對象檢測 API 教程1

TensorFlow 對象檢測 API 教程2

TensorFlow 對象檢測 API 教程3

TensorFlow 對象檢測 API 教程 4

TensorFlow 對象檢測 API 教程5

在TensorFlow+Keras環境下使用RoI池化一步步實現注意力機制

mxnet如何查看參數數量 && mxnet查看FLOPS

GAN

蘇劍林博客，講解得淋漓盡致

發展史

千奇百怪的GAN變體

The GAN Landscape：Losses, Architectures, Regularization, and Normalization

深度學習新星：GAN的基本原理、應用和走向

GAN生成圖像綜述

教程

1. GAN原理學習筆記

2. 極端圖像壓縮的對抗生成網絡

3. 臺灣大學李宏毅GAN教程

Basic

Improving

4. 2017年GAN 計算機視覺相關paper彙總

5. 在Keras上實現GAN：構建消除圖片模糊的應用

6. CycleGAN：圖片風格，想換就換 | ICCV 2017論文解讀

7. Wasserstein GAN

用變分推斷統一理解生成模型（VAE、GAN、AAE、ALI）

Action

1. GAN學習指南：從原理入門到製作生成Demo

2. 機器之心GitHub項目：GAN完整理論推導與實現

RNN

發展史

從90年代的SRNN開始，縱覽循環神經網絡27年的研究進展

教程

完全圖解RNN、RNN變體、Seq2Seq、Attention機制

循環神經網絡(RNN, Recurrent Neural Networks)介紹

RNN以及LSTM的介紹和公式梳理

深度學習其五 循環神經網絡

用循環神經網絡進行文件無損壓縮：斯坦福大學提出DeepZip

吳恩達序列建模課程

Coursera吳恩達《序列模型》課程筆記（1）-- 循環神經網絡（RNN）

Coursera吳恩達《序列模型》課程筆記（2）-- NLP & Word Embeddings

Coursera吳恩達《序列模型》課程筆記（3）-- Sequence models & Attention mechanism

Word2Vec

word2vec原理(一) CBOW與Skip-Gram模型基礎

word2vec原理(二) 基於Hierarchical Softmax的模型

word2vec原理(三) 基於Negative Sampling的模型

用gensim學習word2vec

聊聊 Transformer

Action

tensorflow中RNNcell源碼分析以及自定義RNNCell的方法

TensorFlow中RNN實現的正確打開方式

TensorFlow RNN 代碼

Tensorflow實現的深度NLP模型集錦

LSTM

教程

1. （譯）理解長短期記憶(LSTM) 神經網絡

2. 一文讀懂LSTM和RNN

3. 探索LSTM：基本概念到內部結構

4. 翻譯：深入理解LSTM系列

深入理解 LSTM 網絡 (一)

深入理解 LSTM 網絡 (二)

LSTM

Action

用tensorflow LSTM如何預測股票價格

TensorFlow的多層LSTM實踐

《安娜卡列尼娜》文本生成——利用TensorFlow構建LSTM模型

GNN

發展史

Graph Neural Network（GNN）綜述

GNN最全文獻資料整理

教程

如何理解 Graph Convolutional Network（GCN）

圖卷積網絡(Graph Convolutional networks, GCN) 簡述

圖卷積網絡(GCN)新手村完全指南

Action

圖卷積網絡到底怎麼做，這是一份極簡的Numpy實現

DGL

三. 深度模型的優化

1. 優化算法縱覽

2. 從梯度下降到Adam

3. 從梯度下降到擬牛頓法：盤點訓練神經網絡的五大學習算法

4. 正則化技術總結

史上最全面的正則化技術總結與分析--part1

史上最全面的正則化技術總結與分析--part2

5. 最優化算法系列（math）

6. 神經網絡訓練中的梯度消失與梯度爆炸

7. 神經網絡的優化及訓練

8. 通俗講解查全率和查準率, 全面梳理：準確率,精確率,召回率,查準率,查全率,假陽性,真陽性,PRC,ROC,AUC,F1

9. 激活函數一覽

10. Coursera吳恩達《優化深度神經網絡》課程筆記（3）-- 超參數調試、Batch正則化和編程框架

11. 機器學習各種熵

12. 距離和相似性度量

13. 機器學習裡的黑色藝術：normalization, standardization, regularization

14. LSTM系列的梯度問題

15. 損失函數整理

16. 詳解殘差塊為何有助於解決梯度彌散問題

17. FAIR何愷明等人提出組歸一化：替代批歸一化，不受批量大小限制

18. Batch Normalization（BN）:1 ,2 ,3 ,4 , 5, 6, 7

19. 詳解深度學習中的Normalization，不只是BN && 如何區分並記住常見的幾種 Normalization 算法

20. BFGS

21. 詳解深度學習中的梯度消失、爆炸原因及其解決方法

22. Dropout, 1, 2, 3

23.譜歸一化（Spectral Normalization）的理解，常見向量範數和矩陣範數，譜範數正則（Spectral Norm Regularization）的理解

24.L1正則化與L2正則化

25.為什麼選用交叉熵而不是MSE

四. 煉丹術士那些事

調參經驗

訓練的神經網絡不工作？一文帶你跨過這37個坑

神經網絡訓練trick

深度學習與計算機視覺系列(8)_神經網絡訓練與注意點

神經網絡訓練loss不下降原因集合

深度學習：欠擬合問題的幾種解決方案 &&過擬合和欠擬合問題

機器學習：如何找到最優學習率及實現

不平衡數據集處理方法: 其一, 其二, 其三

同一個神經網絡使用不同激活函數的表達能力是否一致

梯度下降優化算法縱覽, 1, 2

論文筆記之數據增廣：mixup

避坑指南：數據科學家新手常犯的13個錯誤

憑什麼相信CNN的結果?--可視化

憑什麼相信你，我的CNN模型？（篇一：CAM和Grad-CAM)

憑什麼相信你，我的CNN模型？（篇二：萬金油LIME)

論文筆記:Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization

CV：基於Keras利用訓練好的hdf5模型進行目標檢測實現輸出模型中的表情或性別的gradcam(可視化)

大卷積核還是小卷積核? 1, 2

模型可解釋性差？你考慮了各種不確定性了嗎？

煉丹筆記系列

煉丹筆記一：樣本不平衡問題

煉丹筆記二：數據清洗

煉丹筆記三：數據增強

煉丹筆記四：小樣本問題

煉丹筆記五：數據標註

煉丹筆記六 : 調參技巧

煉丹筆記七：卷積神經網絡模型設計

刷排行榜的奇技淫巧

Kaggle 六大比賽最全面解析（上）

Kaggle 六大比賽最全面解析（下）

圖像分類

煉丹筆記三：數據增強 && 數據增強(Data Augmentation)

【技術綜述】 深度學習中的數據增強（上） && 【技術綜述】深度學習中的數據增強（下）

《Bag of Tricks for Image Classification with CNN》&& pdf

神經網絡訓練trick

Kaggle解決方案分享

從0上手Kaggle圖像分類挑戰：冠軍解決方案詳解

Kaggle 冰山圖像分類大賽近日落幕，看冠軍團隊方案有何亮點

【Kaggle冠軍分享】圖像識別和分類競賽，數據增強及優化算法

識別座頭鯨，Kaggle競賽第一名解決方案解讀

kaggle 首戰拿金牌總結

16歲高中生奪冠Kaggle地標檢索挑戰賽！而且竟然是Kaggle老兵

6次Kaggle計算機視覺類比賽賽後感

Kaggle首戰斬獲第三-衛星圖像識別

目標檢測

ensemble

deformable

sync bn

ms train/test

目標檢測任務的優化策略tricks

目標檢測小tricks--樣本不均衡處理

目標檢測算法中的常見trick

Kaggle：肺癌自動診斷系統3D Deep Leaky Noisy-or Network 論文閱讀

乾貨|大神教你如何參加kaggle比賽——根據CT掃描圖預測肺癌

五. 年度總結

新年大禮包：機器之心2018高分教程合集

CVPR2019目標檢測方法進展綜述

六. 科研相關

深度學習框架

Python3.x(先修)

The Python Tutorial

廖雪峰Python教程

菜鳥教程

給深度學習入門者的Python快速教程 - 基礎篇

Python - 100天從新手到大師

Numpy(先修)

Quickstart tutorial

Numpy快速入門(Numpy 1.14 官方文檔中文翻譯)

Numpy中文文檔

給深度學習入門者的Python快速教程 - numpy和Matplotlib篇

Opencv-python

OpenCV-Python Tutorials

OpenCV官方教程中文版（For Python）

數字圖像處理系列

python+OpenCV圖像處理

給深度學習入門者的Python快速教程 - 番外篇之Python-OpenCV

Pandas

Python 數據科學入門教程：Pandas

Tensorflow

如何高效地學習 TensorFlow 代碼

中文教程

TensorFlow官方文檔

CS20:Tensorflow for DeepLearning Research

吳恩達TensorFlow專項課程

【乾貨】史上最全的Tensorflow學習資源彙總

《21個項目玩轉深度學習———基於TensorFlow的實踐詳解》

最全Tensorflow2.0 入門教程持續更新