ニューラル ネットワークにおける逆伝播: 機械学習アルゴリズム

逆伝播ニューラル ネットワーク (BPNN) について学ぶ前に、次のことを理解しましょう。

人工ニューラルネットワークとは何ですか?

ニューラル ネットワークは、接続された I/O ユニットのグループであり、各接続にはコンピューター プログラムに関連付けられた重みがあります。 大規模なデータベースから予測モデルを構築するのに役立ちます。 このモデルは人間の神経系に基づいて構築されています。 画像の理解、人間の学習、コンピューターの音声などを行うのに役立ちます。

バックプロパゲーションとは何ですか?

誤差逆伝播法 それがニューラルネットワークトレーニングの本質です。 これは、前のエポック (つまり反復) で得られたエラー率に基づいてニューラル ネットワークの重みを微調整する方法です。 重みを適切に調整すると、エラー率を低減し、一般化を強化してモデルの信頼性を高めることができます。

ニューラル ネットワークにおける逆伝播は、「誤差の逆伝播」の短縮形です。 これは、人工ニューラル ネットワークをトレーニングする標準的な方法です。 この方法は、ネットワーク内のすべての重みに対する損失関数の勾配を計算するのに役立ちます。

逆伝播アルゴリズムの仕組み

ニューラル ネットワークのバック プロパゲーション アルゴリズムは、連鎖律によって単一の重みに対する損失関数の勾配を計算します。ネイティブの直接計算とは異なり、一度に 1 つのレイヤーを効率的に計算します。勾配を計算しますが、勾配の使用方法は定義しません。デルタ ルールで計算を一般化します。

理解するには、次のバックプロパゲーション ニューラル ネットワークの例の図を検討してください。

1. 入力 X、事前接続されたパスを介して到着
2. 入力は実際の重み W を使用してモデル化されます。重みは通常、ランダムに選択されます。
3. 入力層から隠れ層、出力層に至るすべてのニューロンの出力を計算します。
4. 出力の誤差を計算する

ErrorB= Actual Output – Desired Output

5. 出力層から隠れ層に戻って、誤差が減少するように重みを調整します。

目的の出力が得られるまでプロセスを繰り返します

なぜバックプロパゲーションが必要なのでしょうか?

バックプロパゲーションの最も顕著な利点は次のとおりです。

• バックプロパゲーションは高速かつシンプルでプログラムが簡単です
• 入力数以外に調整するパラメータはない
• ネットワークに関する事前知識を必要としないため、柔軟な方法です。
• 一般的にうまく機能する標準的な方法です
• 学習する関数の特徴については特に説明する必要はありません。

フィードフォワードネットワークとは何ですか?

フィードフォワード ニューラル ネットワークは、ノードがサイクルを形成しない人工ニューラル ネットワークです。 この種のニューラル ネットワークには、入力層、隠れ層、出力層があります。 これは、最初で最も単純なタイプの人工ニューラル ネットワークです。

逆伝播ネットワークの種類

バックプロパゲーション ネットワークには次の XNUMX 種類があります。

• 静的逆伝播
• 反復逆伝播

静的逆伝播

これは、静的入力から静的出力へのマッピングを生成するバックプロパゲーション ネットワークの一種です。 光学式文字認識などの静的な分類の問題を解決するのに役立ちます。

反復逆伝播

データマイニングにおけるリカレントバックプロパゲーションは、固定値が達成されるまでフィードフォワードされます。 その後、誤差が計算され、逆方向に伝播されます。

これら XNUMX つの方法の主な違いは、静的バックプロパゲーションではマッピングが高速であるのに対し、再帰バックプロパゲーションでは非静的であることです。

バックプロパゲーションの歴史

• 1961 年に、連続バックプロパゲーションの基本概念が、J. Kelly、Henry Arthur、および E. Bryson によって制御理論の文脈で導き出されました。
• 1969 年に、Bryson と Ho は、多段階の動的システム最適化手法を提案しました。
• 1974 年に、Werbos はこの原理を人工ニューラル ネットワークに適用できる可能性を述べました。
• 1982 年、ホップフィールドはニューラル ネットワークのアイデアをもたらしました。
• 1986 年、デビッド E. ルメルハート、ジェフリー E. ヒントン、ロナルド J. ウィリアムズの努力により、バックプロパゲーションが認識されるようになりました。
• 1993 年、ワンはバックプロパゲーション法の助けを借りて国際パターン認識コンテストで優勝した最初の人物でした。

バックプロパゲーションのキーポイント

• トレーニングされたネットワークへの影響を最小限に抑える要素の重み付けされたリンクによってネットワーク構造を簡素化します。
• 入力ユニット層と隠れユニット層の間の関係を構築するには、入力値とアクティベーション値のグループを調査する必要があります。
• これは、特定の入力変数がネットワーク出力に与える影響を評価するのに役立ちます。 この分析から得られた知識はルールで表す必要があります。
• バックプロパゲーションは、画像認識や音声認識など、エラーが発生しやすいプロジェクトに取り組むディープ ニューラル ネットワークに特に役立ちます。
• バックプロパゲーションはチェーンを利用し、べき乗則によりバックプロパゲーションは任意の数の出力で機能することができます。

逆伝播のベストプラクティス

ニューラル ネットワークにおけるバックプロパゲーションは、「靴紐」のアナロジーを使って説明できます

テンションが低すぎる =

• 拘束が不十分で非常に緩い

緊張しすぎ =

• 制約が多すぎる（オーバートレーニング）
• 時間がかかりすぎる（プロセスが比較的遅い）
• 壊れる可能性が高くなります

片方の靴紐を他の靴紐よりも引っ張る =

• 不快感（偏見）

バックプロパゲーションを使用するデメリット

• 特定の問題に対するバックプロパゲーションの実際のパフォーマンスは、入力データによって異なります。
• データマイニングにおけるバックプロパゲーションアルゴリズムは、ノイズの多いデータに非常に敏感になる可能性があります
• バックプロパゲーションには、ミニバッチではなく行列ベースのアプローチを使用する必要があります。

製品概要

• ニューラル ネットワークは、接続された I/O ユニットのグループであり、各接続にはコンピューター プログラムに関連付けられた重みがあります。
• 逆伝播とは、「誤差の逆伝播」の略称です。 人工ニューラルネットワークを訓練する標準的な方法です
• バックプロパゲーションアルゴリズム 機械学習 高速、シンプル、簡単にプログラムできる
• フィードフォワード BPN ネットワークは人工ニューラル ネットワークです。
• バックプロパゲーション ネットワークの 1 つのタイプは、2) 静的バックプロパゲーション、XNUMX) 再帰バックプロパゲーションです。
• 1961 年に、連続バックプロパゲーションの基本概念が、J. Kelly、Henry Arthur、および E. Bryson によって制御理論の文脈で導き出されました。
• 逆伝播 データマイニング トレーニングされたネットワークへの影響を最小限に抑える重み付きリンクを削除することで、ネットワーク構造を簡素化します。
• これは、画像認識や音声認識など、エラーが発生しやすいプロジェクトに取り組むディープ ニューラル ネットワークに特に役立ちます。
• バックプロパゲーションの最大の欠点は、ノイズの多いデータに対して敏感になる可能性があることです。