ニューラル ネットワーク アルゴリズムの基礎の概要

今最も注目されているテクノロジーは間違いなく人工知能です。

人工知能の基礎モデルは「ニューラルネットワーク」です。多くの複雑なアプリケーション (パターン認識、自動制御など) や高度なモデル (深層学習など) がこれに基づいています。人工知能の学習は、人工知能から始めなければなりません。

1. パーセプトロン

歴史的に、科学者は常に人間の脳をシミュレートし、思考できるものを作成したいと考えてきました。 。 機械。なぜ人は考えることができるのでしょうか？科学者たちは、その理由が体の神経ネットワークにあることを発見しました。

#1. 外部刺激は神経終末を通じて電気信号に変換され、神経細胞 (ニューロンとも呼ばれます) に伝達されます。

2. 無数のニューロンが神経中枢を構成しています。

3. 神経中枢はさまざまな信号を合成し、判断を行っています。

4. 人間の体は、神経中枢からの指令に従って外部からの刺激に反応します。

2. 重みとしきい値

これを見ると、必ず次のように疑問に思うでしょう: いくつかの要因が確立され、他の要因が確立されていない場合、出力はどうなるでしょうか?たとえば、週末は天気も良く、チケットも高くありませんが、シャオミンさんは同行者が見つからないのですが、それでも遊びに行くべきでしょうか?

実際には、さまざまな要素の重要性が同じであることはほとんどありません。決定的な要素もあれば、二次的な要素もあります。したがって、これらの要素に重みを割り当てて、それぞれの異なる重要性を表すことができます。

天気: 重さは 8

コンパニオン: 重さは 4

価格: 重さは 4

上記の重さは、天候が決め手であることを示しています。コンパニオンと価格は二の次の要素です。

3 つの係数がすべて 1 の場合、それらの合計に重みを乗算すると、8 4 4 = 16 になります。天候と価格の要因が 1 で、付随する要因が 0 の場合、合計は 8 0 4 = 12 となります。このとき、しきい値（しきい値）も指定する必要があります。合計がしきい値より大きい場合、パーセプトロンは 1 を出力し、それ以外の場合は 0 を出力します。しきい値が 8 であると仮定すると、12 > 8 となり、Xiao Ming は訪問することにしました。閾値の高さは意志の強さを表し、閾値が低いほど行きたくない、閾値が高いほど行きたくないことを表します。

上記の意思決定プロセスを数学的に表すと次のようになります。

3. 意思決定モデル

単一のパーセプトロンは、すぐに使用できる単純な意思決定モデルを構成します。現実の世界では、実際の意思決定モデルはさらに複雑で、複数のパーセプトロンで構成される多層ネットワークです。

上図では、最下層のパーセプトロンが外部入力を受け取り、判断を行った後、最終結果が得られるまで、上層のパーセプトロンの入力として信号を送信します。得られた。 (注: パーセプトロンの出力はまだ 1 つだけですが、複数のターゲットに送信できます。)

この図では、信号は一方向、つまり下位層のパーセプトロンの出力です。は常に上位層パーセプトロンの出力です。実際には、A が B に渡され、B が C に渡され、C が A に渡されるという循環的な送信が発生することがあります。これを「リカレント ニューラル ネットワーク」と呼びます。

#4. ベクトル化

以降の説明を容易にするために、上記のモデルに対していくつかの数学的処理を実行する必要があります。 外部要因 x1、x2、x3 はベクトル として記述され、x

と省略されます。重み w1、w2、w3 もベクトル (w1、w2、 w3)、略語 w

に対して演算 w⋅x = ∑ wx を定義します。つまり、係数と重みの積の合計に等しい w と x の点演算です。

b を負のしきい値 b = -threshold# に等しいと定義します

パーセプトロン モデルは次のようになります。

5. ニューラル ネットワークの動作プロセス

ニューラル ネットワークを構築するには、3 つの条件を満たす必要があります。 1. 入力と出力

2. 重み (w) と閾値 (b)

3. 多層パーセプトロンの構造

それたとえば、上に表示される絵を事前に描く必要があります。

最も難しい部分は、重み (w) としきい値 (b) を決定することです。これまでこの 2 つの値は主観的に与えられてきましたが、実際にはその値を推定することは難しく、答えを見つける方法が必要です。

この方法は試行錯誤です。他のパラメータを変更せずに、w (または b) の小さな変化を Δw (または Δb) として記録し、出力の変化を観察します。最も正確な出力、つまり必要な値に対応する w と b のセットが得られるまで、このプロセスを繰り返します。このプロセスはモデル トレーニングと呼ばれます。

#したがって、ニューラル ネットワークは次のように動作します。

1. 入力と出力を決定します

2. 入力から出力を取得できる 1 つ以上のアルゴリズムを見つけます

3. 既知のアルゴリズムのセットを見つけますデータセットは、モデルをトレーニングし、w と b

4 を推定するために使用されます。新しいデータが生成され、モデルに入力されると、結果が取得され、w と b が同時に修正されます

6. 出力の連続性

##上記のモデルには未解決の問題があり、仮定によれば、出力には 0 と 1 の 2 つの結果しかありません。ただし、モデルでは w または b をわずかに変更する必要があるため、出力が変化します。 0と1だけを出力すると鈍感すぎて学習の精度が保証できないため、「出力」を連続関数に変換する必要があります。これには、少し単純な数学的修正が必要です。

まずパーセプトロンの計算結果wx bをzとして記録します。

z = wx b

次に、次の式を計算し、結果を σ(z) として記録します。

σ(z) = 1 / (1 e^(-z))

これは、z が正の無限大 z → ∞ になる傾向がある場合 (パーセプトロンの一致が強いことを示します)、次に、σ(z) → 1; z が負の無限大 z → -∞ (パーセプトロンの不一致が強いことを示す) の傾向がある場合、σ(z) → 0。つまり、出力結果として σ(z) を使用する限り、出力は連続関数になります。

元の出力曲線は次のとおりです。

これで完了です:

実際、Δσ が次の式を満たすことも証明できます。

つまり、Δσ、Δw、Δb の間には線形関係があり、変化率は偏微分になります。これは、w と b の値を正確に計算するのに役立ちます。

以上がニューラル ネットワーク アルゴリズムの基礎の概要の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。