神經網路演算法入門

神經網路是一門重要的機器學習技術。它是目前最火熱的研究方向--深度學習的基礎。學習神經網路不僅可以讓你掌握一門強大的機器學習方法，同時也能更好地幫助你理解深度學習技術。

我們回顧神經網路發展的歷程。神經網路的發展歷史曲折蕩漾，既有被人捧上天的時刻，也有摔落在街頭無人問津的時段，中間經歷了數次大起大落。

從單層神經網絡（感知器）開始，到包含一個隱藏層的兩層神經網絡，再到多層的深度神經網絡，一共有三次興起過程。

上圖的頂點與谷底可以看作神經網路發展的高峰與低潮。圖中的橫軸是時間，以年為單位。縱軸是一個神經網路影響力的示意表示。如果把1949年Hebb模型提出到1958年的感知機誕生這個10年視為落下（沒有興起）的話，那麼神經網路算是經歷了「三起三落」這樣一個過程，跟「小平」同志類似。俗話說，天將降大任於斯人也，必先苦其心志，勞其筋骨。經歷過如此多波折的神經網路能夠在現階段取得成功也可以被看做是磨礪的累積吧。

歷史最大的好處是可以給現在做參考。科學的研究呈現螺旋狀上升的過程，不可能一帆風順。同時，這也給現在過度熱衷深度學習與人工智慧的人敲響警鐘，因為這不是第一次人們因為神經網路而瘋狂了。 1958年到1969年，以及1985年到1995，這兩個十年間人們對於神經網路以及人工智慧的期待並不現在低，可結果如何大家也能看的很清楚。

因此，冷靜才是對待目前深度學習熱潮的最好方法。如果因為深度學習火熱，或者可以有「錢景」就一窩蜂的湧入，那麼最終的受害者只能是自己。神經網路界已經兩次有被人們捧上天了的境況，相信也對於捧得越高，摔得越慘這句話深有體會。因此，神經網路界的學者也必須為這股熱潮澆上一盆水，不要讓媒體以及投資家過度的高看這門技術。很有可能，三十年河東，三十年河西，在幾年後，神經網路又陷入谷底。根據上圖的歷史曲線圖，這是很有可能的。

下面說一下神經網路為什麼可以這麼火熱？簡言之，就是其學習效果的強大。隨著神經網路的發展，其表示性能越來越強。

從單層神經網絡，到兩層神經網絡，再到多層神經網絡，下圖說明了，隨著網絡層數的增加，以及激活函數的調整，神經網絡所能擬合的決策分界平面的能力。

可以看出，隨著層數增加，其非線性分界擬合能力不斷增強。圖中的分界線並不代表真實訓練出的效果，更多的是示意效果。

神經網路的研究與應用之所以能夠不斷地火熱發展下去，與其強大的函數擬合能力是分不開關係的。

當然，光有強大的內在能力，不一定能成功。一個成功的技術與方法，不僅需要內因的作用，也需要時勢與環境的配合。神經網路的發展背後的外在原因可以被總結為：更強的計算性能，更多的數據，以及更好的訓練方法。只有在滿足這些條件時，神經網路的函數擬合能力才能得已體現，見下圖。

之所以在單層神經網路年代，Rosenblat無法製作一個雙層分類器，就在於當時的運算效能不足，Minsky也以此來打壓神經網路。但是Minsky沒有料到，僅僅10年後，電腦CPU的快速發展已經使得我們可以做兩層神經網路的訓練，並且還有快速的學習演​​算法BP。

但是在兩層神經網路快速流行的年代。更高層的神經網路由於計算性能的問題，以及一些計算方法的問題，其優勢無法體現。直到2012年，研究人員發現，用於高效能運算的圖形加速卡（GPU）可以極佳地匹配神經網路訓練所需的要求：高並行性，高存儲，沒有太多的控制需求，配合預訓練等演算法，神經網路才得以大放異彩。

網路時代，大量的資料被收集整理，更好的訓練方法不斷被發現。這一切都滿足了多層神經網路發揮能力的條件。

“時勢造英雄”，正如Hinton在2006年的論文裡所說的

「... provided that computers were fast enough, data sets were big enough, and the initial weights )外在條件的滿足也是神經網路從神經元發展到目前的深度神經網路的重要因素。

除此之外，一門技術的發揚沒有「伯樂」也是不行的。在神經網路漫長的歷史中，正是由於許多研究人員的鈸而不捨，不斷鑽研，才能有了現在的成就。前期的Rosenblat，Rumelhart並沒有見證到神經網路如今的流行與地位。但是在那個時代，他們為神經網路的發展所打下的基礎，卻會永遠流傳下去，不會退色。

以上是神經網路演算法入門的詳細內容。更多資訊請關注PHP中文網其他相關文章！