ニューラル ネットワーク アルゴリズムの概要

ニューラル ネットワークは重要な機械学習テクノロジです。これはディープラーニングの基礎であり、現在最も人気のある研究方向です。ニューラル ネットワークを学習すると、強力な機械学習手法を習得できるだけでなく、ディープ ラーニング テクノロジをより深く理解するのにも役立ちます。

ニューラル ネットワークの開発プロセスを振り返ってみましょう。ニューラルネットワークの開発の歴史は紆余曲折があり、天に讃えられる時もあれば、路上に落ちて誰にも見向きもされない時もあり、幾度かの栄枯盛衰を経験してきました。真ん中のダウン。

単層ニューラル ネットワーク (パーセプトロン) から始まり、隠れ層を含む 2 層ニューラル ネットワーク、そして多層ディープ ニューラル ネットワークへと、3 つの段階があります。

上の図の山と谷は、ニューラル ネットワークの発達の山と谷として見ることができます。グラフの横軸は時間であり、年単位で測定されます。縦軸はニューラルネットワークの影響を模式的に表したものである。 1949年のヘブモデルの提案から1958年のパーセプトロンの誕生までの10年間を下降（上昇ではない）とみなした場合、ニューラルネットワークはComradeと同様に「3回上昇、3回降下」の過程を経験したことになる。 「シャオピン」。諺にあるように、天から重大な責任を任されるときは、まず自分の心と体を鍛えなければなりません。現段階で紆余曲折を経たニューラルネットワークの成功は、努力の積み重ねと言えます。

歴史の最大の利点は、現在への参考となることです。科学研究は上昇スパイラルの過程をたどり、順風満帆とは言えません。同時に、これは現在ディープラーニングや人工知能に過度に熱中している人々への警告でもあります。ニューラルネットワークのせいで人々がおかしくなったのはこれが初めてではないからです。 1958 年から 1969 年、および 1985 年から 1995 年にかけて、ニューラル ネットワークと人工知能に対する人々の期待は現在ほど低くはありませんでしたが、その結果がどうなるかは誰の目にも明らかです。

したがって、現在のディープラーニングの流行に対処するには、冷静になることが最善の方法です。ディープラーニングが流行っているからとか、お金が儲かるからという理由で人々が殺到した場合、最終的な被害者は自分自身だけになります。ニューラル ネットワーク コミュニティは人々から二度も天にまで賞賛されましたが、賞賛が高ければ高いほど、失敗はさらに深刻になると私は考えています。したがって、ニューラルネットワーク分野の学者もこの流行に水を注がなければならず、メディアや投資家にこの技術を過大評価させないようにする必要があります。河東で30年、河西で30年を経て、ニューラルネットワークは数年以内に再び底に達する可能性が非常に高い。上記の過去のグラフに基づくと、これは非常に可能性があります。

ニューラル ネットワークがなぜこれほど人気が​​あるのか​​について話しましょう。一言で言えば、強力な学習効果です。ニューラル ネットワークの発展に伴い、その表現パフォーマンスはますます強力になっています。

次の図は、単層ニューラル ネットワークから 2 層ニューラル ネットワーク、さらに多層ニューラル ネットワークへと、ネットワーク層の数が増加し、層の調整が行われることを示しています。活性化関数、ニューラル ネットワークは、境界面に関する決定を下す機能に適合します。

層の数が増加するにつれて、その非線形境界フィッティング能力が増加し続けることがわかります。画像内の分割線は実際のトレーニング効果を表すものではなく、概略的な効果です。

ニューラル ネットワークの研究と応用が精力的に発展し続ける理由は、その強力な関数フィッティング能力と切り離すことができません。

もちろん、内面の能力が強いだけでは必ずしも成功につながるわけではありません。技術や手法を成功させるには、内部要因の役割だけでなく、現在の状況や環境の協力も必要です。ニューラル ネットワークの開発の背後にある外部の理由は、より強力なコンピューティング パフォーマンス、より多くのデータ、より優れたトレーニング方法として要約できます。これらの条件が満たされた場合にのみ、下図に示すように、ニューラル ネットワークの関数フィッティング能力が十分に反映されます。

Rosenblat が 1 層ニューラル ネットワークの時代に 2 層分類器を作成できなかった理由は、当時の計算能力が不十分だったためであり、Minsky はニューラルネットワークを抑制するためにもこれを使用しました。しかし、ミンスキー氏は、わずか 10 年後にコンピューター CPU の急速な発展により 2 層のニューラル ネットワークの学習が可能になり、高速学習アルゴリズム BP も登場するとは予想していませんでした。

しかし、2層ニューラルネットワークが急速に普及している時代。計算性能や一部の計算方法の問題により、上位ニューラルネットワークの利点を反映できません。 2012 年までに、研究者は、ハイ パフォーマンス コンピューティング用のグラフィック アクセラレータ カード (GPU) が、ニューラル ネットワークのトレーニングに必要な要件 (高い並列処理、高いストレージ、あまり多くの制御要件がないこと、および事前トレーニング) に完全に一致できることを発見しました。アルゴリズムを待っている間、ニューラル ネットワークは、輝く。

インターネット時代では、大量のデータが収集・整理され、より良いトレーニング方法が常に発見されています。これらはすべて、多層ニューラル ネットワークがその能力を発揮するための条件を満たしています。

ヒントンが2006年の論文で述べたように「時代が英雄を作る」

"... コンピューターが十分に高速で、データ セットが十分に大きく、初期の重みが適切な解に十分近ければ、3 つの条件がすべて満たされます。",

外部条件ニューラル ネットワークの満足度も、ニューロンから現在のディープ ニューラル ネットワークに至るまでのニューラル ネットワークの発展において重要な要素です。

また、「Bole」なしでは技術開発は不可能です。ニューラルネットワークの長い歴史の中で、多くの研究者の粘り強い研究があったからこそ、現在の成果が得られました。 Rosenblat の初期の頃、Rumelhart はニューラル ネットワークの現在の人気と状況を目撃していませんでした。しかし、その時に彼らが築き上げたニューラルネットワーク開発の基礎は永遠に受け継がれ、色褪せることはありません。

以上がニューラル ネットワーク アルゴリズムの概要の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。