NIO ディープラーニング アルゴリズムの実践

##1. NIO パワー事業の背景

1. NIO エネルギーサービスシステム

NIO Power ビジネス チームの目標は、世界的に革新的なスマート エネルギー サービス システム、モバイル インターネットに基づく電源投入ソリューション、および充電および交換施設の広範なネットワークを構築することです。 「充電可能、交換可能、アップグレード可能な」エネルギーサービスシステムは、自動車オーナーにフルシナリオのパワーアップサービスを提供します。

#2. 機器の運用と保守における課題

NIO 電力設備の運用および保守サービスには、主に NIO パワー スワップ ステーション、NIO スーパー充電パイル、7KW 家庭用充電パイル 2.0、20KW 家庭用急速充電パイルおよびその他の機器が含まれます。このサービスは現在、主に次のような多くの課題に直面しています。

① 機器に安全上の問題がないことを確認してください。

#② ユーザーからの苦情: 電源投入時のエクスペリエンスが悪い。

③ 機器の故障によりチャージやスワップの成功率が低下します。

#④ 機器の故障によるダウンタイム。

#⑤ 運用保守コストが高い。

#2. NIO 電力設備の運用および保守ソリューション

##同社の 4 つの主要なタイプの充放電装置 (バッテリー スワップ ステーション、スーパー充電スタンド、7KW 家庭用充電スタンド、20KW 家庭用急速充電スタンド) にはすべて多数のセンサーが搭載されているため、センサーによって収集されたデータは実際には時刻を統一してNIO Energy Cloudに接続 一元的な保管・管理を行い、PHM（故障予測と健全性管理）に基づく予知保全技術を導入 GAN（敵対的生成ネットワーク）などの一連のAIアルゴリズムによりConceptor（コンセプトネットワーク）と連携して、設備の異常検出状況の取得や故障診断を行い、診断予測結果に基づいて設備の最適な予知保全の意思決定ソリューションを提供し、関連する運転保守作業を機器に指示します。達成:

① 機器の安全上の危険を排除します。

#② 電源投入時のエクスペリエンスの悪さに関するユーザーの苦情を軽減します。

#③ チャージとスワップの成功率を向上させます。

#④ 機器の故障によるダウンタイムを削減します。

#⑤ 運用保守コストを削減します。

したがって、PHM テクノロジーとアルゴリズムの導入は、同社のスマート エネルギー サービス システムの改善と閉ループの形成に効果的に役立ち、それによって NIO パワーのサービス能力を向上および最適化することができました。

3. PHM テクノロジーが直面する課題

最先端の PHM テクノロジーはすべてデータ駆動型の人工知能テクノロジーに基づいており、「データ」 -driven」は、モデルの構築に多数のサンプルとラベルが使用され、モデルは理想的なシナリオに基づいて構築されることがよくありますが、実際のシナリオは理想的ではないことがよくあります。

#上の図からわかるように、実際のシーンには次のような特徴があることがよくあります。

① 障害サンプルはほとんどありません。

② 故障サンプルにラベルを付けるのは困難です。

#これにより、このシナリオでは 2 種類の問題が発生します。1 つは教師なし学習問題、もう 1 つは小規模サンプル学習問題です。

4. PHM の最先端テクノロジー

現実の現場で直面するこの 2 つの問題に対応し、私たちは次のことを提案しました。NIO 電力シナリオには、いくつかの最先端の PHM テクノロジーが適用されています。

1. 敵対的生成ネットワーク (GAN) に基づく教師なし異常検出

(1) GAN の構造

2014 年に提案された敵対的生成ネットワークは、深層学習に基づく教師なし学習技術の一種で、主にジェネレーターとディスクリミネーターの 2 つのサブネットワークで構成されます。

上の図の赤い G ネットワークは発電機ネットワーク、青い D ネットワークはネットワーク それが弁別ネットワークです。

#ジェネレータ ネットワーク乱数分布 (ガウス分布など) を入力し、次のように指定された特定の分布を出力します。サンプルの観点から見ると、乱数分布からサンプリングされた 100 個のデータが G ネットワークに入力され、G ネットワークはこれら 100 個のサンプルを実際のデータと同じ空間にマッピングして分布 G(z) を形成します。弁別器ネットワークを使用して 2 つの分布 G(z) と実データ X の差を取得し、G(z) 分布が実データ X 分布に近づくまで G ネットワークが最適化されます。 G ネットワークはこれら 100 個のデータを出力し、特定の分布 G(z) を形成します。

識別器ネットワークの核心は、G(z) 分布と実データ x 分布 Jensen-Shanon 発散。生成された分布と真の分布との差を測定します。近似的な Jensen-Shanon 発散は、二項交差エントロピーに基づく標準の二項分類ネットワークを通じて実装され、弁別ネットワークの出力は 0 から 1 までの連続値です。出力が 1 の場合、入力サンプル X は実際の分布からのものであると考えられ、出力が 0 の場合、入力サンプル X は偽物であり偽物であると考えられます。 GAN ネットワークのトレーニング形式では、ジェネレーターによって生成されたサンプルは実際のサンプルの分布に近づこうとしますが、ディスクリミネーターは区別しようとします。生成されたサンプルを fake として生成し、ジェネレーターにジェンセン・シャノン発散値のより正確な勾配を提供し、ジェネレーターがより良い方向に反復できるようにします。結局、両者は対立関係となり、ジェネレータは偽のデータを「必死に」生成し、ディスクリミネータは入力データの真偽を「必死に」判別することになる。 GAN ネットワークは最終的に平衡状態に達します。生成されたデータ分布 G(z) は、すべての実サンプル X の分布をちょうど完全にカバーします。

(2) GAN 損失関数

GAN ネットワークを数学的な観点から理解すると、損失から理解できます。関数。損失関数は、値関数 V(G, D) を使用して、共通の minmax 最適化を通じて G ネットワークと D ネットワークのパラメーターを同時に最適化できます。特定の G ネットワークの場合、最適化の目標は、図に示すように、値関数を最小化することです。

この式では、JSD は、損失関数 (2 つの分布の差) 差の尺度。式からわかるように、この最適化の本質は、X と G(z) の間の分布の差を最小限に抑えることです。分布の差が小さいほど、G ネットワークのトレーニングがより成功します。

(3) 異常検出のための自動エンコーダー支援 GAN (AE-GAN)

GAN ネットワークに基づく, Auto-Encoderを導入し、設備稼働データの異常検知を実現します。

#具体的な実装方法は次のとおりです。

#最初の実装方法ステップ では、GAN モデルを構築し、機器動作データの分布を再構築するだけの G ネットワークを取得するようにトレーニングします。

#2 番目のステップは、GAN ネットワーク内の D ネットワーク部分を破棄し、G ネットワーク パラメーターを修正し、G ネットワークの前にエンコーダー ネットワークを導入することです。ちなみに、エンコーダ ネットワークと G ネットワークの組み合わせは、標準的なオートエンコーダ ネットワークのセットを形成し、このネットワークの損失関数は再構築誤差です。

このようにして、自動エンコーダー ネットワークを最適化することで異常検出を完了できます。その背後にある原理は次のとおりです。入力サンプルに関係なく、自動エンコーダーを通じて、 -エンコーダネットワーク 出力サンプルは通常のサンプル間隔内になります。したがって、入力サンプルが正常なサンプルの場合、生成されたサンプルと元のサンプルは同じ間隔にあるため、再構成誤差は非常に小さいか、0 に近くなります。入力サンプルが異常なサンプルの場合、生成されたサンプルは、サンプルはまだ正常なサンプル間隔内にあります。これは大きな再構成誤差につながるため、再構成誤差を使用してサンプルが正常かどうかを判断できます。

3 番目のステップは、正常なサンプルの小さなバッチを通じて一連の再構成エラー スコアを取得し、その最大値を異常の再構成エラーしきい値として使用することです。検出。

Thisこの原則は、2022 年に IEEE の高度道路交通システムに関するトランザクションで発表された論文で詳しく説明されています。論文情報は次のとおりです:

M. Xu、P. Baraldi、X. Lu、E. Zio、「高速での異常検出のための AdaBoost アンサンブル学習による敵対的生成ネットワーク」 「Train Automatic Doors」、IEEE in Transactions on Intelligent Transportation Systems、2022.##2. 教師なし RNN (コンセプト) に基づく小規模サンプル故障診断

##私たちが使用する 2 番目のタイプのテクノロジーは、教師なし RNN (Conceptor Network: Conceptor と呼ばれる) の小規模サンプル障害診断テクノロジーです。

# (1) 教師なし RNN

##first

#まず、この技術教師なし RNN の背景を紹介します。通常の RNN と比較して、教師なし RNN の最も特別な点は、ネットワークの入力層のニューロンの接続重みと隠れ層の接続重みがランダムに初期化され、トレーニングと推論のプロセス全体で固定されることです。これは、入力層と隠れ層の重みパラメータを学習させる必要がないことを意味するため、通常の RNN ネットワークと比較して、隠れ層ニューロンを非常に大きく設定できるため、ネットワークが非常に大きい場合、入力時系列の記憶期間は長くなります。この特別な教師なし RNN の隠れ層ニューロンは、多くの場合、リザーバーと呼ばれます。

① リザーバー状態更新

状態更新方法は標準の RNN 更新方法と同じです。

#② Conceptor による長期的な時間依存関係の表現

この教師なし RNN に基づいた教師なし表現学習手法を開発します。具体的には、可変長の多次元時系列を入力し、Reservoir を通じて各タイム ステップの RNN 隠れニューロンを取得します。ステータス; を使用します。 Conceptor メソッド (上図の水色のボックス内に表示) を使用して、N×N 次元の概念行列を取得します。線形代数の観点から理解すると、この行列の意味は次のとおりです。時系列を処理するとき、タイム ステップごとに、時系列信号が N 次元空間に投影されます (N は隠れニューロンのスケールに対応します)。

#ti がある場合## タイム ステップの場合、N 次元空間内のこれらの ti _{点は点群を形成します。このような点は雲の楕円体です。は互いに直交する N 方向に分解でき、各方向の固有ベクトルと固有値が得られます。}

Conceptor の機能は、固有値と固有ベクトルを取得し、固有値を正規化することです。これらの N 個の固有ベクトルについては、次のように理解できます。時系列 (周期性、トレンド、ボラティリティ、その他の複雑な時系列特性など) は暗黙的な特徴の抽出であり、抽出されたすべての特徴情報はこの N 次元行列 Middle (つまり、コンセプター行列、濃い青色) に保持されます。上図の右側のボックス）。

#③ 可変長時系列の類似性尺度

行列の基本特性によれば、2 つの時系列コンセプター行列が減算され、フロベニウス ノルムが抽出され、つまり 2 つの時系列のコンセプター距離が取得され、このスカラーを使用して 2 つの時系列間の差異を特徴付けることができます。

(2) Conceptor に基づく小規模サンプル故障診断

Conceptor の上記の特性に基づいて、次のことが可能です。小規模なサンプルの故障診断、サンプルのトラブルシューティング分析に使用されます。

実際の障害サンプルの数が少ない場合 (たとえば、障害サンプルが 10 個未満である場合)、対応する時系列すべてが Conceptor ネットワークに入力され、集約されて、このカテゴリの故障モードの抽象表現として機能する対応する概念行列を形成します。同様に、正常なサンプルも正常な概念行列に集約されます。テスト時には、同様の手法で入力時系列から対応する概念行列を抽出し、正常サンプルと異常サンプルの概念行列との比較分析を行い、対応する概念の差異を算出します。入力サンプルと特定の故障モードの概念行列との類似性が高い場合、サンプルはその故障モードに属すると考えることができます。

この方法については、次の論文でも詳しく説明されています:

Mingjing Xu 、 Piero Baraldi、Zhe Yang、Enrico Zio、産業機器の劣化レベルの推定のための、Conceptors 支援の教師なしクラスタリングと畳み込みニューラル ネットワーク分類に基づく 2 段階推定手法、Expert Systems with Applications、ボリューム 213、パート B、2023 、118962.

5. インテリジェントな運用および保守 PHM テクノロジーの適用事例

1. バッテリー倉庫チェーンの緩やかな監視バッテリー スワップ ステーション

(1) 背景

バッテリー スワップ ステーションのバッテリー コンパートメントのチェーンは、バッテリー コンパートメントと連携します。倉庫に入るバッテリーを充電するために充電倉庫までエレベーターで持ち上げます。チェーンに欠陥がある場合、チェーンが緩んだり破損したりする可能性があり、その結果、充電ボックスへの輸送中にバッテリーが引っかかって、充電ボックスに入れられなくなる可能性があります。また、チェーンが切れるとバッテリーが落下し、バッテリーの破損や火災事故の原因にもなります。

# したがって、チェーンの緩みを事前に検知し、それに伴う安全事故の発生を未然に防止し、チェーンの緩みを最小限に抑えるモデルを構築する必要があります。リスク。

(2) 問題設定

チェーンの緩みに直接関係する主な変数は振動関連の信号ですが、振動データの収集と保存のコストが高いため、ほとんどの機器は振動関連の信号を収集していません。

#振動データが存在しない場合、チェーン駆動モーターのトルク、位置、速度などの信号を通じてチェーンの緩みを検出できます。

(3) 産業メカニズム解析

下図のルーズチェーンデータとノーマルチェーンデータを比較します。バッテリーコンパートメントチェーンの緩みにより、トルク信号に明らかな周期的な変動が発生し、変動の振幅が減衰傾向を示すことは明らかです。

この障害の実際のサンプル数は非常に少なく、20 サンプル未満ですが、このタイプの障害は重要性が高いため、予測モデルの精度と再現率は非常に高くなります。

(4) チェーン緩み検知モデル設計

① まず、元データを時系列に分割し、長期系列から均一プロセスのトルクデータを抽出します。

#② 次に、時系列を分解し、時系列の変動特性のみを保持します。

#③ さらに配列に対してスペクトル解析を行い、最終的にスペクトル特性を取得します。

#しかし、故障の瞬間には複数の周波数帯域があり、異なる周波数帯域の振幅は特定の分布に従うため、問題を解決することは困難です。従来の方法を使用して正確に識別するため、率が低いほど誤警報や警報の見逃しが多くなります。したがって、故障モードで特定の故障分布をより正確に捕捉し、最終的に機器の異常スコアを取得するために、AE-GAN モデルが選択されます。

# (5) チェーン緩み検出データとアルゴリズムの相互作用プロセス

#ルーズ検出データとアルゴリズム間の相互作用には、主にデータ ウェアハウス、データ レイヤー、フィーチャ レイヤー、アルゴリズム レイヤー、モデル レイヤーのレイヤーが含まれます。

このうち、特徴層は主に上記の特徴量エンジニアリングに関与するアルゴリズム モジュールであり、この場合、アルゴリズム層は AE-GAN アルゴリズムを使用し、アルゴリズム層の異常なスコア結果に基づいて、データは、さらなる判断と意思決定のためにモデル レイヤーに記録され、最終的な出力作業指示書は処理のために専門家に送信されます。

上記のプロセスに基づいて、従来のエキスパート エクスペリエンス検出が AI アルゴリズム検出にアップグレードされ、精度率が 30% 以上向上しました。

2. 過充電チップ劣化の故障診断

(1) 産業メカニズム解析

まず、充電ガンの充電電流、電圧、温度、その他の物理信号に基づいて物理モデルを確立し、ガンヘッドの温度上昇係数の物理量を取得し、これをさらなる故障診断のための特性信号として使用します。ただし、この種の物理ベースの特徴エンジニアリングでは、通常、特徴の生成にタイム スライディング ウィンドウが使用され、最終的に特徴の結果として新しい時系列が取得されます。このような特徴シーケンスにはノイズが多いことがよくあります。

#次の図は例です。このプロジェクトでは通常、時間枠として 1 週間または 1 か月のデータを選択し、次のような特徴的な時系列を取得します。下の図。図から、このシーケンスのノイズは非常に大きく、劣化したサンプルと正常なサンプルを直接区別することが困難であることがわかります。

また、実際の故障サンプルでは、​​劣化したチップの数は 50 未満であることがよくあります。

上記の 2 つの理由に基づいて、Conceptor モデルは手動の経験を排除し、モデルを通じて劣化したサンプルの時系列特性を自動的にキャプチャするために導入されました。

# (2) トラブルシューティング手順

##① 収集障害サンプルデータ

1. 同社は何千もの過充電パイルを生産に投入しましたが、そのうちチップが交換されたのは数十の過充電パイルだけです。
2. ガンチップ交換記録に基づいて、対応する期間の故障サンプル データをモデルのトレーニング セットとして照合します。
3. #断層データには 6 次元の時系列が含まれており、系列の長さは異なります。

#② モデルの構築

1. この障害の背後にある物理メカニズムは比較的複雑であるため、事前の知識、専門家の経験、および物理的メカニズムに基づくモデリングは実装が比較的難しく、モデルを一般化するのが困難です。
2. #この記事で説明されている Conceptor モデル手法は、純粋にデータ駆動型のアプローチに基づいており、事前の物理情報抽出機能は導入されていません。モデルの複雑さを軽減し、モデリング効率を向上させます。
3. #Conceptor モデル手法を使用して、異常期間の多次元時系列データをモデルに入力し、対応する概念表現行列を取得します。

#a. 50 個の故障サンプルが入力されると、50 個の概念表現行列が取得されます。

b. これら 50 個の行列の平均を集計し、故障モードの特性行列の重心を乗じて、故障モードでの特性行列を取得します。 c. モデルのテスト段階では、入力されたテストデータに対して概念行列が計算され、故障モードの表現行列と比較されて異常スコアが取得されます。

#③ モデルの警告

1) モデルの結果に基づいて、3 つの異なるレベルに分けられます。事前アラーム ルールを使用して、さまざまな劣化度に応じて判断し、最終的に階層的な早期警告を実現します。

#上記のプロセスに基づいて、従来の機構モデル検出手法を、AI アルゴリズム検出手法を組み合わせた機構モデルにアップグレードすることで、モデルの誤りを削減できます。アラームレートを元の 1/5 に下げます。
1. #6. 質疑応答

#Q1: AE-GAN モデルにおいて、正常サンプルと異常サンプルをどのように区別するかサンプル？

A1: トレーニングされた AE-GAN モデルの場合、サンプルをオートエンコーダーに入力して、サンプルの再構成誤差 (異常スコア) を取得します。指定された値より小さい しきい値を超えた場合、サンプルは正常とみなされ、それ以外の場合は異常サンプルとみなされます。この方法を使用する前提は、すべてのトレーニング データが通常のサンプル データであることです。

Q2: GAN ネットワークをトレーニングするとき、小さなサンプルの故障データと通常のデータを混合して使用しますか? 2 つのデータのバランスをとるにはどうすればよいでしょうか?

A2: GAN ネットワークをトレーニングする場合、特定のモードの正常データまたは異常データが使用されます。混合データはトレーニングには使用されないため、いいえ サンプルの不均衡などの問題。実際のデータの 2 種類のデータ サンプル間に大きなギャップがある場合、通常、GAN ネットワーク 1 は正常なサンプルに対してトレーニングされ、次に GAN ネットワーク 2 は異常なサンプルの特定の固定パターンに対してトレーニングされます。テストサンプルは、2 つのネットワークの再構成エラーに基づいてテストされ、最終判断が行われます。

#Q3: GAN トレーニング中にモード崩壊は発生しますか?

#A3: モード崩壊は、GAN モデルのトレーニングで遭遇する中心的な問題です。まず、モード崩壊について理解し、次に GAN トレーニングの中核タスクに焦点を当てます。

モード崩壊、ジェネレーターによって生成されたデータは特定の領域に集中します。これが発生した場合の理由それは、GAN ネットワークにおける損失関数の定義が無視されるということです。 GAN ネットワークのトレーニング プロセス中、G ネットワークの損失と D ネットワークの損失は通常別々に計算され、2 つのネットワークの結合損失関数 (つまり、式内の JSD 損失) は無視されることがよくあります。トレーニング モードの崩壊が発生した場合、JSD 損失は収束しないことが多いため、トレーニング中に JSD 損失を視覚化すると、モードの崩壊を効果的に回避できます。これは、GAN モデルの最近の改良バージョンの多くが際立って優れた結果を生み出すことができる理由でもあり、さらに、標準の GAN ネットワークに特定のトリックを導入することでも同様の効果を達成することができます。

#Q4: RNN の隠れ層がランダムに固定されることの利点は何ですか?

A4: 陽性サンプルと陰性サンプルの間に大きなギャップがあるシナリオで、一般的に使用される LSTM、RNN、GRNN などのモデルを使用すると、多くの場合、次のような問題に直面することになります。損失関数が収束しないという問題があるため、このタイプの問題に対処する方法は、多くの場合、教師なし学習から開始し、メインネットワークの隠れ層の重みをランダムに固定し、特定の方法を使用して正則化することです。生成された概念行列の特徴成分; 重みパラメータはランダムであるが、得られた表現は時系列の隠れた特徴を反映することができ、小さなサンプルシーンを区別するのに十分である 以上が RNN 隠れ層がランダムであることの利点です修理済み。

#Q5: Conceptor モデルのネットワーク形式を紹介します。

#A5: モデルは次の図に示されています。

# このうち、Reserve 部分は基本的に通常の RNN ネットワークと同じです。唯一の違いは # の W であり、W はランダムに設定されます (ランダムに生成されるのは 1 回のみであることに注意してください)。 ; その後、各タイムステップで長期ニューロンの隠れ状態が計算および更新され、対応する概念行列が取得されます。上記はConceptorの完全版です。

Q6: AE-GAN のエンコーダー ネットワークのトレーニング プロセスは何ですか?入力と出力とは何ですか?

#A6: 次の図は、エンコーダー ネットワークのトレーニング プロセスです。

まず、標準的な GAN がトレーニングされ、これに基づいて、G の隠れ層のパラメーターがトレーニングされます。ネットワークが固定されるので、G でネットワークの前にエンコーダ ネットワークを挿入し、2 つのネットワークを接続してオートエンコーダ ネットワークを形成します。 Auto-Encoder ネットワークの入力は元のデータ サンプルであり、出力は再構成されたデータ サンプルであり、AE-GAN ネットワークは再構成されたサンプルを構築することによって異常なデータを識別します。

Q7: この記事で説明されている 2 つの方法に関する論文や関連するオープン ソース コードはありますか?

#A7: 詳細については、この記事の関連する章を参照してください。コードはまだオープンソースではありません。

#Q8: AE-GAN は画像フィールドの異常検出に使用できますか?

A8: 使えます。ただし、画像フィールドは通常の信号に比べて次元が高く、データ分布が複雑で、トレーニングに必要なデータ量も多くなります。したがって、画像分類に使用され、データサンプルが少ない場合にはモデルの効果は損なわれますが、異常検出に使用される場合には効果は良好です。

#Q9: 異常検知の評価指標は何ですか?偽陽性と偽陰性、および両方が一緒に評価されます。

A9: 最も直感的な評価指標は偽陽性率と偽陰性率ですが、より科学的な指標には再現率、適合率、F スコアなどが含まれます。

#Q10: 障害サンプルの特徴を照合するにはどうすればよいですか?

A10: 障害特性を取得するこれ以上直接的かつ迅速な方法がない場合は、純粋なデータ駆動型の方法が通常、障害サンプルの特徴をマイニングするために使用されます。深層学習ネットワーク: 障害サンプルの主要な特徴が学習され、概念行列として特徴付けられます。

#Q11: PHM アルゴリズムはモデル選択をどのように実行しますか?

A11: サンプル数が少ない場合、異常検出問題に対して正常なサンプルが多数ある場合は、データ特性を表すために教師なし RNN 手法が一般に使用されます。 、AE-GANネットワークが実装されており、使用できます。

#Q12: RNN が出力する 2 種類の概念行列を通じて異常を特定するにはどうすればよいですか?

A12: RNN によって出力される概念行列は、同じ状態のデータの特徴は類似しているため、入力時系列内のすべての特徴のセットとして理解できます。 、この状態内のすべてのサンプルの概念行列が平均化および集約されます。つまり、このタイプの状態の概念中心行列が抽象化されます。未知の状態の入力時系列に対して、その概念行列を計算してそれを比較することによって、概念中心行列、最も類似度が高い概念中心は、入力データに対応するカテゴリです。

Q13: AE-GAN ネットワークで異常しきい値を設定するにはどうすればよいですか?

#A13: ネットワーク トレーニングの完了後、通常のサンプル データの小さなバッチを使用して再構成誤差を計算し、最大値をしきい値として取得します。

Q14: AE-GAN ネットワークの異常しきい値は更新されますか?

A14: 通常、更新されませんが、元のデータ分布が変化した場合 (動作条件の変化など)、しきい値を再トレーニングする必要がある場合があります。しきい値を微調整するために、転移学習関連の手法が GAN ネットワークに導入されています。

#Q15: GAN はどのように時系列をトレーニングしますか?

A15: GAN は通常、元の時系列をトレーニングしませんが、元の時系列に基づいて抽出された特徴をトレーニングします。

Q16: 従来の GAN と比較して、AE-GAN における GAN 導入の役割は何ですか?どのような改善が得られるでしょうか?

#A16: 従来の GAN は、異常検出にもよく使用されます。 AE-GAN は GAN の原理をより詳細に分析しているため、モード崩壊などの問題を最大限に回避することができ、Auto-Encoder の導入により異常検出の原理が正確に実行されることを保証できます。これにより、誤警報率が減少します。

#Q17: 休暇中に充電山の時系列データは全体的に増加しますか?誤った判断を避けるにはどうすればよいでしょうか？

#A17: 故障診断モデルは多くのレベルに分かれており、モデル層の結果は意思決定層の基礎となるだけであり、最終結果ではありません。これらは通常、判断を支援するために他のビジネス ロジックと組み合わせられます。

Q18: モデルの開始後、教師なし異常検出のアプリケーション効果をどのように評価しますか?

#A18: 通常、異常検知の結果に基づき、専門技術者が現場で実際の確認を行います。

Q19: 記事内で言及されている 2 つの方法を使用して、バッテリー交換ステーションでバッテリーの異常を検出する試みはありますか?

#A19: 関連する試みが行われています。

#Q20: 時系列データの長さを統一するにはどうすればよいですか? 0 をパディングすると、勾配が下がらなくなりますか?

A20: この記事で言及されている Conceptor モデルは、任意の長さの時系列を処理できるため、0 を埋める必要はなく、パラメーター「トレーニング」も回避します。 」プロセスを使用するため、このタイプの問題を回避できます。

#Q21: GAN は過剰学習に悩まされますか?

#A21: 異常検出の分野でのみ使用される場合、実際には、「過学習」が多ければ多いほど、モデルのパフォーマンスは向上します。さらに、トレーニング プロセス中の GAN モデルの G ネットワークのランダム性が大きいため、一般にオーバーフィッティングは発生しません。

Q22: GAN モデルをトレーニングする場合、より良い結果が得られるように設定するために使用されるトレーニング データの大きさはどれくらいですか?

#A22: このタイプの問題は通常、ニューラル ネットワークのサイズ、隠れたニューロンのサイズなどに依存します。一般に、各層に 100 個のニューロンがある 2 層ニューラル ネットワークの場合、より良い結果を得るには、トレーニング データの量が隠れ層の次元より 1 ～ 2 桁大きい必要があります。パターンの崩壊を防ぐために、いくつかのトリックを使用することも必要です。

Q23: Conceptor モデルの最小単位の隠しパラメーターは固定されていますが、専門家の経験に基づいて設定されていますか?バイアスは通常の RNN とどのように比較されますか?故障解析のラベルボリュームはどれくらいですか?ビジネス価値を定量化するにはどうすればよいでしょうか?

A23: 現在オンラインになっている Conceptor モデルの多くは、さらなるパラメータ調整を行わずに、同じ経験的パラメータのセットを使用しています。実際の経験によれば、関連するパラメータ設定の範囲は 10 ～ 100 です。結果への影響の違いは非常に小さく、唯一の違いは計算コストです。故障データのサンプル サイズが小さく、結果をより正確にしたい場合は、パラメーターを 128、256、またはそれ以上に設定できますが、それに応じて計算コストも高くなります。障害分析のラベルの数は通常 1 ～ 10 です。ビジネス価値の定量化は、通常、誤報やアラームの見逃しによって測定されます。これは、誤報やアラームの見逃しは、定量的なビジネス価値への影響に直接変換できるためです。

Q24: 故障の開始時間、精度、再現率はどのように決定するのですか?

#A24: Conceptor メソッドは、時間増加ウィンドウを使用して複数の概念行列を形成するために使用できます。概念行列をスペクトル的にクラスター化して、障害の発生時間を特定できます。 。詳細については、Conceptor の章の関連文書を参照してください。

#Q25: 多数の正常データが同じ値を持つことはありますか?モデルは同じサンプルを繰り返し学習しますか?

#A25: 実際のシナリオでは、機器の動作条件が異なるため、通常のデータは大きく異なることがよくあります。

Q26: GAN に適した故障の特性と RNN に適した故障の特性は何ですか?

A26: これら 2 つのモデルの具体的な使用シナリオを明確に分けることは困難です。一般的に、GAN は特殊なデータ分散と使用が難しい分類の問題を解決するのに優れています。教師なし RNN は、小さなサンプルの問題を処理するのに適しています。

Q27: この記事で説明されているモデルは、「人事違反の検出」などの特別なシナリオで使用できますか?

A27: ドメイン固有のシナリオでは、ドメイン固有の知識を導入して高次の特徴を抽出できれば、通常は可能ですが、検出に画像のみを使用する場合には可能です。画像サンプル サイズが大きく、通常の動作を表すことができる場合、問題は CV ドメイン サブディビジョン シーン検出に変換でき、この記事で説明したモデルを使用して検出できます。

#Q28: Conceptor Distance は類似性の判断ですか?パラメータで学習するのでしょうか？

A28: パラメータはありません。

#Q29: 障害ごとにモデルをトレーニングする必要がありますか?

#A29: モデル要件、障害サンプル サイズ、分布の複雑さなど、特定のシナリオによって異なります。 2 つの故障のタイミング波形が非常に似ている場合、通常、別個のモデルをトレーニングする必要はありません。分類境界を決定するために多分類モデルを構築するだけで済みます。2 つの故障モードのデータ形式が非常に異なる場合、GAN モデルを使用してデータを更新できます。正確な識別。

#Q30: モデルのトレーニング時間とトレーニング コストはどれくらいですか?

A30: Conceptor モデルのトレーニング コストは非常に小さく、特徴の抽出に使用できます。GAN モデルのトレーニング時間は比較的長くなりますが、一般的な構造化モデルでは表形式のデータ、トレーニング それほど時間はかかりません。

#Q31: モデルをトレーニングするとき、正規サンプルのトレーニング セットはどのようになりますか?時系列のスライディング ウィンドウをスライスする場合、時系列のサブセットごとに推奨される最小回数はありますか?

A31: 2 つのモデル自体には、陽性サンプルと陰性サンプルの数に関する要件はありません。モデルのトレーニング時間を考慮すると、通常、数千の代表的なサンプルがトレーニング用に選択されます。一般に、タイミング サブセット内の回数について推奨される最小値はありません。

Q32: RNN ネットワークによって取得される特徴行列のおおよその次元はどれくらいですか?

#A32: 特徴行列の次元は隠れニューロンの数に直接関係します。N 個の隠れニューロンがある場合、特徴行列の次元は次のようになります。 N×N。モデルの複雑さと計算効率を考慮すると、N は一般的にあまり大きく設定されず、一般的に使用される設定値は 32 です。

Q33: GAN の識別器を分類器として使用しないのはなぜですか?識別器は正常なデータのみを学習し、異常なデータは偽のデータとして分類されます。このアプローチの欠点は何ですか?

A33: GAN の原理によれば、D ネットワークは正常なサンプルと偽のサンプルを区別するために使用され、偽のサンプルが「完全なボディ」状態にトレーニングされる場合、それらは正常なサンプルに非常に近いため、正常なサンプルと異常なサンプルを区別することが困難になります;AE-GAN ネットワークは、正常なサンプルと異常なサンプルがある程度の区別があることを前提としており、これが AE を使用するための理論的基礎です-ガン。

#Q34: 小規模サンプル学習モデルは一般化能力をどのように保証しますか?

#A34: モデルの一般化機能は、同じタイプのすべての障害は同様のデータ分布を持つという先験的な仮定に基づく必要があります。同様の故障データの分布が大きく異なる場合は、通常、モデルの一般化能力を確保するために故障カテゴリをさらに細分化する必要があります。

#Q35: 入力データに対してデータ前処理を実行するにはどうすればよいですか?

#A35: この記事で言及されている 2 つのモデルでは、データを正規化するだけで済みます。

Q36: GAN は、隔離フォレストや AE などの従来の教師なし方向と比較してどうですか?

#A36: 理論の完全性により、GAN は正規サンプル データの分布をより完全に記述することができるため、より完全な決定境界を構築できます。ただし、通常の AE、孤立フォレスト、ワンクラス SVM などの手法には理論的な完全性がなく、より完全な決定境界を構築できません。

Q37: 後段で識別器が正常サンプルと偽サンプルの区別がほとんどできない場合、GAN 部分の意味はほとんどなくなりますが、この時点で AE-GAN は AE に縮退するのでしょうか?

A37: 弁別器が実際に正常なサンプルと偽のサンプルを識別できない場合、ジェネレータのトレーニングが非常に成功していることが側から見てわかります。異常検出段階は、ディスクリミネータを使用せずにジェネレータのみに設定されます。 GAN ネットワークにおけるジェネレーターは非常に重要な役割を果たしているため、AE-GAN は AE に退化せず、正則化された AE のアップグレード版として理解できます。

Q38: RNN の代わりに Transformer を使用してみましたか?

#A38: サンプルが小さく、高い解釈可能性が要求されるシナリオでは、そのような試みは行われておらず、関連する試みは後で行われる可能性があります。

Q39: AE-GAN と VAE の違いは何ですか?

A39: VAE も異常検出に一般的に使用される方法です。VAE は隠れ層で以前のガウス分布を使用し、実際に適合するように以前のガウス分布の形状を変更します。 2 つの分布を等価にしますが、VAE で使用される損失関数は JSD 発散ではなく KL 発散であり、KL 発散は非対称であるため、複雑なサンプルではうまく機能しない可能性があります。

Q40: 実験中の信号特徴に重大なデータ ノイズまたは欠落データ ノイズが発生しますか?機能をクリーニングするより良い方法は何ですか?

#A40: 記事にある充電ガンのケースは、重大な騒音のケースです。時系列に基づく一部の分解手法では、時系列の周期項目、トレンド項目、ノイズ項目などを分解でき、欠落している特徴は不完全なデータ手法を使用して処理できます。

Q41: APA などの強化戦略をトレーニングに追加できますか?

A41: GAN を例にとると、サンプルの強化は主にノイズを追加することによって実行され、APA 強化戦略は使用されません。

Q42: 4.1.(3) の 2 番目のステップで、正常範囲が広い範囲にわたる場合、サンプル 1、2、3 が 3 つある場合、どのサンプル 1 と 2 が正常なサンプルで、サンプル 3 が異常なサンプルであるか、サンプル 1 とサンプル 2 は正常範囲の両側にあり、サンプル 3 はサンプル 1 の隣にありますが、正常範囲を超えています。サンプル 1 と 2 の間に何かがありますか? サンプル 1 と 3 の間の再構成誤差がサンプル 1 と 3 の再構成誤差よりも大きい場合は、どのような状況になりますか?

A42: この記事で提供されている参考資料には、極端な例が多数含まれており、たとえば、引用した例は、典型的な 2 ガウス ボールの例です。 AE-GANはこのような問題を解決します。

以上がNIO ディープラーニング アルゴリズムの実践の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。