ICLR 2024 Oral | 時間の経過とともに変化する分布の変化に対処するために、ウェスタンオンタリオ大学などが学習時系列軌跡法を提案しました。

AIxivコラムは、本サイト上で学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。投稿メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

著者の曾秋林はハルビン工業大学を卒業し、シンガポール国立大学で修士号を取得しました。王波教授とリン・シャオフェン学者の指導の下、博士課程では主にランダムな時間変化の分布に関する理論的実証、手法および応用研究を実施した。現在、ICLR/AAAI/IEEE TNNLS で多くの学術論文を発表しています。

個人ホームページ: https://hardworkingpearl.github.io/

現実の機械学習アプリケーションでは、時間の経過に伴う分布の変化が一般的な問題です。この状況は時変ドメイン一般化 (EDG) として枠組み化されており、その目標は、ドメイン全体で基礎となる進化するパターンを学習し、これらのパターンを活用することで、時変システム内の目に見えないターゲット ドメインまでモデルをうまく一般化できるようにすることです。ただし、EDG データセット内のタイムスタンプの数が限られているため、既存の手法では、進化するダイナミクスを捕捉し、疎なタイムスタンプへの過剰適合を回避する際に課題が発生し、その一般化と新しいタスクへの適応性が制限されます。

この問題を解決するために、我々は新しい手法 SDE-EDG を提案します。これは、過学習の問題を克服するためにサンプルを継続的に補間することによってデータ分布の無限細分割グリッド展開軌跡 (IFGET) を収集します。さらに、連続軌跡を捕捉する確率微分方程式 (SDE) の固有の能力を利用することにより、SDE によってモデル化された軌跡を最尤推定を通じて IFGET の軌跡と位置合わせし、それによって分布進化傾向の捕捉を達成することを提案します。

• 論文タイトル: 時間の経過に伴う分布シフト下の限定タイムスタンプの潜在軌道学習

• 論文リンク: https://openreview.net/pdf?id=bTMMNT7IdW

• プロジェクトリンク: https: //github.com/HardworkingPearl/SDE-EDG-iclr2024

メソッド

コアアイデア

この課題を克服するために、SDE-EDG は無限セグメントを構築することによる新しいアプローチを提案しています 無限に細かいグリッドの進化軌道(IFGET) は、タイムスタンプ間のギャップを埋めるために、潜在表現空間に連続した補間サンプルを作成します。さらに、SDE-EDG は、確率微分方程式 (SDE) の固有の機能を利用して連続軌道ダイナミクスを捕捉し、パス アライメント正則化機能を通じて SDE モデル化された軌道を IFGET と整合させ、それによって進化する分布トレンドのクロスドメインの捕捉を実現します。

方法の詳細

1. IFGETの構築:

まず、SDE-EDGは潜在表現空間内の各サンプルのサンプル間の対応を確立し、個々のサンプルの進化の軌跡を収集します。時間 における各カテゴリー k の任意のサンプル について、時間 における特徴空間内でそれに最も近い と における対応するサンプル

を検索します。

ここで、は2つのベクトル間の距離の計算であり、は次のフィールドからサンプリングされたサンプルのセットです。

この対応関係は、タイムスタンプ間隔間の時間ギャップを接続し、疎なタイムスタンプへの過剰適合を回避することを目的として、連続する補間サンプルを生成するために利用されます。

ここではベータ分布からサンプリングされています。上記の方法で生成されたサンプルのタイミング トレース を収集すると、IFGET が得られます。

2. SDE を使用した軌跡のモデル化:

SDE-EDG は、潜在空間内のデータの連続時間軌跡をモデル化するためにニューラル SDE を採用しています。従来の離散タイムスタンプ ベースのモデルとは異なり、SDE は当然、連続時間軌跡のシミュレーションに適しています。 SDE-EDG は時系列軌跡をモデル化し、ある時点

を通じて将来の任意の時点 のサンプルを予測できます。

ここで、特徴空間変数

は、ある時点 のサンプルから予測され、 はドリフト関数、 は拡散機能。

3. パスのアライメントと最尤推定:

SDE-EDG は、IFGET の尤度推定を最大化することでモデルをトレーニングします。

最後のトレーニング関数は

で、最初の項は予測分類タスクの誤差損失です。関数 。

4. 実験

• 次の表は、複数のデータセットにおける SDE-EDG と他のベースライン手法の間の分類精度の比較を示しています。これらのデータセットには、回転ガウス (RG)、円 (Cir)、回転 MNIST (RM)、ポートレート (Por)、Caltran (Cal)、PowerSupply (PS)、および眼疾患 (OD) が含まれます。結果は、SDE-EDG がすべてのデータセットで平均して他の手法よりも優れていることを示しています。

• 下の図は、SDE-EDG アルゴリズム (左) と従来の DG 手法 IRM (右) の特徴表現の違いを直感的に比較したものです。データ特徴空間の視覚化を通じて、SDE-EDG によって学習された特徴表現には明確な決定境界があり、異なるカテゴリのデータ ポイントが明確に区別され、異なる形状で表現され、異なるドメインのデータが虹の色の区別。これは、SDE-EDG が時間の経過に伴うデータ進化のダイナミクスをうまく捉え、特徴空間内のクラスの分離性を維持できることを示しています。対照的に、IRM の特徴表現はデータ ポイントを単一の方向に崩壊させる傾向があり、その結果、決定の境界が不明確になります。これは、時間変化する分布傾向の捕捉における IRM の不十分さを反映しています。

• 次の図は、一連の部分図を通じて、時間の経過に伴うデータの進化を捕捉する機能における SDE-EDG アルゴリズムの利点を詳しく示しています。部分図 (a) は、Sine データセットの実際のラベル分布を示しています。ここでは、正の例と負の例が異なる色の点で表され、後続の比較のベースラインとなります。次に、サブ図 (b) と (c) は、同じデータセットに対する ERM と SDE-EDG アルゴリズムに基づく従来の方法の予測結果をそれぞれ示しています。比較すると、SDE-EDG の明らかな利点がわかります。データの進化パターン。サブ図 (d) および (e) は、SDE-EDG によって学習された進化パスをさらに明らかにします。ここで、(d) はパス アライメント損失 (最尤損失関数) を適用した後のパスを示し、(e) はパス アライメント損失を適用しないパスを示します。この損失を適用します。この比較から、モデルが時間の経過に伴うデータの変化を正確に捕捉して特徴付けることを保証する上で、パス アライメントの損失が重要であることが直感的にわかります。

• 次のサブグラフ (a) は、Portraits データセットでのトレーニングにさまざまなアルゴリズムを使用した場合の精度収束軌跡を示しています。この部分図は、トレーニング中に SDE-EDG アルゴリズムのパフォーマンスが他のベースライン手法 (ERM、MLDG、GI など) とどのように変化するかを比較するための直感的な視点を提供します。時間の経過に伴うトレーニング精度の増加傾向を観察することで、さまざまなアルゴリズムの学習能力と収束速度を評価できます。 SDE-EDG アルゴリズムの収束軌跡は、進化するデータ分布に適応する際のアルゴリズムの効率と安定性を明らかにするため、特に興味深いものです。

  次のサブ図 (b) と (c) は、それぞれ RMNIST と Circle データ セットを示しています。これらのデータ セットに対する SDE-EDG アルゴリズムのパフォーマンスは、面 A が高い場合でも、時変分布の処理において優れていることを示しています。また、より長い期間にわたってターゲット ドメインの精度を維持することもできます。これは、データ進化パターンを捕捉し、それに適応する際の SDE-EDG アルゴリズムの強力な能力を示しています。

  次のサブ図 (d) と (e) は、RMNIST および PowerSupply データ セットでの SDE-EDG のパフォーマンスに対する最尤損失の影響を調査します。正則化の重み α の値を変更することにより、これら 2 つのサブプロットは、さまざまな α 設定がモデルのパフォーマンスに与える具体的な影響を示しています。実験結果は、適切な α 値によって特定のデータセットに対する SDE-EDG のパフォーマンスが大幅に向上することを示しており、実際のアプリケーションではデータセットの特性とタスク要件に応じてハイパーパラメーターを調整することの重要性が強調されています。

結論

この論文の著者は、時変領域一般化 (EDG) 問題をモデル化するための新しい SDE-EDG 手法を提案しました。この方法には、サンプル間の対応を特定し、連続する補間サンプルを生成することによって IFGET を構築することが含まれます。その後、著者らは確率微分方程式 (SDE) を取得し、トレーニングのために IFGET と調整しました。この記事の貢献は、個体の時間軌跡を収集し、時間間隔を補間してソース タイムスタンプの数が制限されている問題を軽減することで進化パターンを捕捉することの重要性を明らかにすることです。これにより、SDE-EDG のタイムスタンプ数が制限されるのを効果的に防ぐことができます。過学習のタイムスタンプ。

以上がICLR 2024 Oral | 時間の経過とともに変化する分布の変化に対処するために、ウェスタンオンタリオ大学などが学習時系列軌跡法を提案しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。