瑞為AI小講堂｜從感知機到卷積神經網絡-下篇

VGGNet

2014年由牛津大學計算機視覺組（Visual Geometry Group）和Google DeepMind公司的研究員共同研發的的VGGNet[i]取得了當年ILSVRC 分類項目的亞軍(VGG19 top-5錯誤率7.3%)。VGGNet的主要特點是全部使用了3x3卷積核和2x2池化核，通過加深網絡結構來提升性能。作者在論文中研究了卷積神經網絡的深度與其性能之間的關係，通過反覆堆疊3x3的小型卷積層和2x2的最大池化層構築不同深度的網絡，並且對11~19層深的卷積神經網絡做了性能測試，相比之前state-of-the-art的網絡結構錯誤率大幅下降。

Inception V1

2014 GoogleNet[ii] (也稱Inception V1)取得了 ILSVRC 的比賽的冠軍（top-5錯誤率6.67%，22層神經網絡，VGGNet是同年亞軍）。除了更深的網絡帶來更強的表達能力以外，一個顯著的特點是控制了計算量和參數量，獲得了非常好的分類性能。雖然它有22層，比8層的AlexNet和19層的VGGNet都要深，但計算量只有15億浮點運算。參數量有500萬，僅為AlexNet（6000萬）的1/12，錯誤率只有AlexNet的一半不到。

Inception V2

2015年2月BN-Inception[iii]（也稱Inception V2）將ILSVRC top-5錯誤率降至4.8%。Inception V2借鑑了VGGNet使用兩個串聯3x3的卷積代替5x5的大卷積（降低參數量減輕過擬合同時增加非線性）。首次提出了Batch Normalization（BN）方法。它是一個非常有效的正則化方法，可以讓大型卷積網絡的訓練速度加快很多倍，收斂後的分類準確率也可以得到大幅提高。

Inception V3

2015年12月Inception V3[iv]達到top-5錯誤率3.5%。關鍵改進有一下幾點。

非對稱分解

將大卷積拆分為幾個相同小卷積的思想進一步發展為非對稱拆分（Spatial Factorization into Asymmetric Convolutions）：把一個較大的二維卷積拆分成兩個較小的一維卷積。例如將7x7卷積拆分成1x7和7x1卷積的串聯，將3x3卷積拆分成1x3和3x1卷積的串聯，這樣做可以更加節省參數和計算量，減輕過擬合，同時增加非線性（增強表達能力）。

更有效的網格縮減策略

ResNet

2015年由Kaiming He等4名華人提出ResNet（Residual Neural Network）[v]在ILSVRC 2015比賽中獲得了冠軍（top-5錯誤率3.57%）。通過使用Residual Unit成功訓練152層深的神經網絡，同時參數量卻比VGGNet低，效果非常突出。ResNet的結構可以極快地加速超深神經網絡的訓練，模型的準確率也有非常大的提升。

Inception-ResNet

2016年2月Inception V4[vi] （top-5錯誤率3.08%）研究了Inception模塊加上Residual Connection。發現ResNet的結構可以極大地加速訓練，同時性能也有提升，最終得到一個Inception-ResNet v2網絡，同時還設計了一個更深更優化的Inception v4模型，能達到與Inception-ResNet v2相媲美的性能。

——end——

[i] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

[ii] Szegedy, Christian, et al. "Going deeper with convolutions." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.

[iii] Ioffe, Sergey, and Christian Szegedy. "Batch normalization: Accelerating deep network training by reducing internal covariate shift." arXiv preprint arXiv:1502.03167 (2015).

[iv] Szegedy, Christian, et al. "Rethinking the inception architecture for computer vision." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

[v] He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

[vi] Szegedy, Christian, et al. "Inception-v4, inception-resnet and the impact of residual connections on learning." arXiv preprint arXiv:1602.07261 (2016).