非線性的世界
我們的世界是一個非線性的世界，我們能否讓機器來學習現實中很多複雜的問題呢？從人類大腦結構中受到的啟發，人們開始在一定程度上模擬大腦的結構。既然大腦能夠理解這個世界，那人工神經網絡應該也是可以的。
timg
神經網絡
簡單的感知機屬於線性模型，而通過嵌套多個神經網絡層和增加神經元就可以解決很多複雜的問題。
整個神經網絡模型包含了三要素：線性變換、非線性變換和線性決策。線性與非線性變換實際上就是座標變換，將信息聚合到其他空間中。從線性到非線性屬於特徵變換，將某種特徵轉成另外一種特徵。而多層神經網絡就是做表徵學習。
從數學上看，神經網絡的嵌套就是多個函數嵌套，通過複雜的函數嵌套關係來描述特徵關係。
image
學習複雜關係
現實中存在很多複雜關係的事物，於是需要構建複雜的邊界才能描述它們。那麼要怎麼來學習這些邊界呢？我們可以把每個神經元看成一個簡單邊界描述，通過引入一個隱層，很多神經元就能描述很複雜的邊界，即取很多神經元邊界的交集。
timg (1)
超大淺層網絡
既然引入一個隱層就能描述任意複雜的連續邊界，那麼是不是我們就可以說對任何複雜關係都只需要使用淺層網絡就行呢？不管多複雜的關係，我增加神經元便是了，最終構建一個超大淺層網絡來描述任意複雜關係。
深度網絡
超大淺層網絡看似無敵，但它會引入維度災難。超大淺層網絡其實是將低緯度的特徵表徵到超高維度空間中，這樣做將需要足夠大的數據量才能進行學習。除此之外，還將會導致過擬合問題。
所以可以朝深度方向改進，將網絡拆成更多層數，這樣每一層都抽象不同的特徵，也就是每一層抽象的程度都不相同。越往後的信息越抽象，就像人類對信息的處理，越靠近感官的信息越具體。比如看到一本書，眼睛最初看到的是書名和書的大小顏色等信息。往後處理，可能思考的是這本書的主題之類的信息。
總的來說，我們希望得到一個低緯度卻能很好表示複雜關係的網絡。
