分類キャリブレーションと回帰キャリブレーションのためのディープ ニューラル ネットワーク

ディープ ニューラル ネットワークは、特徴とパターンを自動的に学習できる強力な機械学習モデルです。ただし、実際のアプリケーションでは、パフォーマンスと信頼性を向上させるためにニューラル ネットワークの出力を調整する必要があることがよくあります。分類キャリブレーションと回帰キャリブレーションは一般的に使用されるキャリブレーション手法であり、それぞれに異なる原理と用途があります。この記事では、これら 2 つのテクノロジーの動作原理と応用シナリオについて詳しく紹介します。

1. 分類キャリブレーション

分類キャリブレーションは、分類器出力ベクトルの確率分布を調整することにより、分類器の信頼性と精度を向上させることです。達成するために。分類問題では、ニューラル ネットワークは各クラスの予測確率を表すベクトルを出力します。ただし、これらの確率は常に正確であるとは限らず、偏りが高すぎたり低すぎたりする可能性があります。分類キャリブレーションの目的は、これらの確率を調整して、真の確率分布に近づけることです。これにより分類器のパフォーマンスが向上し、さまざまなクラスの確率を予測する際の信頼性が高まります。

#一般的に使用される分類キャリブレーション方法には、次の 2 つがあります:

1. 温度スケーリング

温度スケーリングは、シンプルで効果的な分類キャリブレーション手法であり、その原理は、ニューラル ネットワークの出力をスケーリングすることによって分類器の信頼性を調整することです。具体的には、温度スケーリングは、ニューラル ネットワークの最後の層の出力をスケーリングするために温度パラメーター T を導入し、元の予測確率 p を校正された確率 q に変換します。

q_i=\frac{p_i^{\frac{1}{T}}}{\sum_{j=1}^K p_j^{\frac{1}{T}}}

ここで、i は th i カテゴリを表します。 K はカテゴリの総数を表します。 T=1 の場合、温度スケーリングは元の予測確率を変更しません。T>1 の場合、温度スケーリングは分類器の信頼度を高め、予測確率をより集中させ、信頼性を高めます。T

温度スケーリングの利点は、実装が簡単で低コストであり、モデルを再トレーニングせずに校正できることです。ただし、温度スケーリングはすべてのカテゴリの誤差が独立しており、同じスケールであると想定しているため、すべてのケースで分類器のパフォーマンスを効果的に向上させることが保証されておりませんが、これは実際のアプリケーションでは必ずしも当てはまりません。

2.Platt キャリブレーション (Platt スケーリング)

Platt キャリブレーションは比較的伝統的な分類キャリブレーション方法であり、その原理はロジスティック回帰に基づいています。モデルを作成し、ニューラル ネットワークの出力を当てはめて、校正された確率分布を取得します。具体的には、Platt キャリブレーションでは、バイナリ ロジスティック回帰モデルを導入してニューラル ネットワークの出力を適合させ、新しい確率分布を取得します。ロジスティック回帰モデルの入力はニューラル ネットワークの出力または特徴であり、出力は 0 ～ 1 の確率値です。ロジスティック回帰モデルを当てはめることにより、各カテゴリの修正確率値を取得できます。

Platt キャリブレーションの利点は、予測確率をより正確に推定でき、さまざまな分類問題に適していることです。ただし、Platt キャリブレーションにはモデル フィッティングが必要なため、計算コストが高く、ロジスティック回帰モデルをトレーニングするには大量のラベル付きデータが必要です。

2. 回帰キャリブレーション

回帰キャリブレーションとは、回帰モデルの出力を修正して、より信頼性と正確性を高めることを指します。回帰問題では、ニューラル ネットワークの出力は通常、予測されたターゲット変数の値を表す連続実数値です。ただし、これらの予測値には偏りや分散が存在する可能性があるため、予測の精度と信頼性を向上させるために回帰キャリブレーションが必要になります。

一般的に使用される回帰キャリブレーション方法には、次の 2 つがあります:

1. 履歴平均キャリブレーション

履歴平均キャリブレーションは、シンプルで効果的な回帰キャリブレーション手法であり、その原理は、履歴データを使用してターゲット変数の平均と分散を計算し、ニューラル ネットワークの予測値を調整することです。具体的には、履歴平均キャリブレーションでは、履歴データの平均と分散を計算してキャリブレーション係数を取得し、ニューラル ネットワークの予測値を真の目標値に近づけるように補正します。履歴平均キャリブレーションの利点は、シンプルで使いやすく、追加のトレーニング データや計算コストを必要とせず、さまざまな異なる回帰問題に適していることです。

2. 線形回帰キャリブレーション

線形回帰キャリブレーションは、線形回帰モデルに基づいた回帰キャリブレーション テクノロジです。線形モデルをフィッティングすることにより、ニューラル ネットワークの予測値を実際の目標値に近づけます。具体的には、線形回帰キャリブレーションでは、追加のラベル付きデータを使用して線形回帰モデルをトレーニングし、ニューラル ネットワークの予測値を入力として、真のターゲット値を出力として取得して線形マッピング関数を取得し、それによってニューラル ネットワークの予測値に基づいて予測を実行します。値、校正。

線形回帰キャリブレーションの利点は、予測値と目標値の間の関係をより正確に推定できることであり、さまざまな回帰問題に適していることです。ただし、線形回帰モデルのフィッティングには大量のラベル付きデータと計算コストが必要であり、非線形関係を伴う回帰問題には効果的ではない可能性があります。

一般に、分類キャリブレーションと回帰キャリブレーションはディープ ニューラル ネットワークにおける一般的なキャリブレーション手法であり、モデルのパフォーマンスと信頼性を向上させることができます。分類キャリブレーションは主に分類器の信頼度を調整して予測確率をより正確にします。回帰キャリブレーションは主に、予測値のバイアスと分散を修正することで予測結果を真の目標値に近づけます。実際のアプリケーションでは、特定の問題に応じて適切なキャリブレーション方法を選択し、他の手法と組み合わせてモデルのパフォーマンスを最適化する必要があります。

以上が分類キャリブレーションと回帰キャリブレーションのためのディープ ニューラル ネットワークの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。