「データ不足」問題に対する賢明な解決策!清華社オープンソース GPD: 拡散モデルを使用してニューラル ネットワーク パラメーターを生成

従来の時空間予測モデルでは、通常、良好な結果を得るために大量のデータのサポートが必要です。

しかし、都市ごとの発展レベルの違いやデータ収集ポリシーの不一致により、多くの地域の時空間データ (交通量や人流データなど) は限られています。したがって、データが不足している場合、モデルの転送可能性が特に重要になります。

現在の研究は主にソース都市のデータに依存してモデルをトレーニングし、ターゲット都市のデータに適用していますが、このアプローチには複雑なマッチング設計が必要になることがよくあります。ソース都市とターゲット都市の間でより広範な知識の伝達をどのように達成するかは、依然として難しい課題です。

最近、事前トレーニングされたモデルは、自然言語処理とコンピューター ビジョンの分野で大きな進歩を遂げました。プロンプトテクノロジーの導入により、微調整と事前トレーニングの間のギャップが狭まり、事前トレーニングされた高度なモデルが新しいタスクにより迅速に適応できるようになります。この方法の利点は、面倒な微調整への依存が減り、モデルの効率と柔軟性が向上することです。プロンプトテクノロジーを通じて、モデルはユーザーのニーズをより深く理解し、より正確な出力を生成できるため、人々により良いエクスペリエンスとサービスを提供できます。この革新的なアプローチは人工知能テクノロジーの開発を推進し、さまざまな業界にさらなる可能性と機会をもたらします。

写真

紙のリンク: https://openreview.net/forum?id=QyFm3D3Tzi

オープンソース コードとデータ: https://www.php.cn/link/6644cb08d30b2ca55c284344a9750c2e

ICLR2024で本学科都市科学コンピューティング研究センターが発表した最新成果「拡散ニューラルネットワーク生成による空間時間的少数ショット学習」清華大学電子工学博士 GPD (Generative Pre-Trained Diffusion) モデルは、データがまばらなシナリオで時空間学習を成功裏に達成するために導入されました。

この方法では、生成ニューラル ネットワークのパラメーターを使用して、時空間スパース データ学習を拡散モデルの生成事前トレーニング問題に変換します。従来の方法とは異なり、この方法では、転送可能な特徴を抽出したり、複雑なパターン マッチング戦略を設計したりする必要がなくなり、数ショットのシナリオに適したモデルの初期化を学習する必要もなくなりました。

代わりに、このメソッドは、ソース都市からのデータに関する事前トレーニングによってニューラル ネットワーク パラメーターの最適化に関する知識を学習し、プロンプトに基づいてターゲット都市に適したニューラル ネットワーク モデルを生成します。

この手法のイノベーションは、「プロンプト」に基づいてカスタマイズされたニューラル ネットワークを生成し、異なる都市間のデータ分布と特性の違いに効果的に適応し、独創的な時空間知識の伝達を実現できることです。

この研究は、都市コンピューティングにおけるデータ不足の問題を解決するための新しいアイデアを提供します。論文のデータとコードはオープンソースです。

データ配信からニューラル ネットワーク パラメータ配信へ

図 1: データ パターン レベルの知識伝達とニューラル ネットワーク レベルの知識伝達

図 1(a) に示すように、従来の知識伝達方法では通常、ソース都市のデータに基づいてモデルをトレーニングし、それをターゲット都市に適用します。ただし、異なる都市間のデータ分布には大きな違いがある可能性があり、その結果、ソース都市モデルが直接移行され、ターゲット都市のデータ分布にうまく適合しない可能性があります。

したがって、私たちは乱雑なデータ配布への依存を取り除き、知識を共有するためのより本質的で伝達可能な方法を模索する必要があります。データ分布と比較して、ニューラル ネットワーク パラメータの分布には、より「高次」の特性があります。

図 1 は、データ パターン レベルからニューラル ネットワーク レベルの知識伝達への変換プロセスを示しています。ソース都市からのデータでニューラル ネットワークをトレーニングし、それをターゲット都市に適応したニューラル ネットワーク パラメーターを生成するプロセスに変換することで、ターゲット都市のデータ分布と特性をより適切に適応させることができます。

トレーニング前のプロンプト微調整: 時空間的な少数ショット学習の実現

図 2 GPD モデルの概要

図 2 に示すように、この研究で提案された GPD は、ソース都市のモデル パラメーターから直接学習し、ターゲット都市の新しいモデル パラメーターを生成するように設計された条件付き生成フレームワークです。この方法は 3 つの主要な段階で構成されます。 ##1. ニューラル ネットワークの準備段階: まず、各ソース都市エリアについて、調査は個別の時空間予測モデルをトレーニングし、その最適化されたネットワーク パラメーターを保存します。各領域のモデル パラメーターは、モデルがそれぞれの領域の特性に最適に適応できるように、パラメーターを共有することなく個別に最適化されます。

2. 拡散モデルの事前トレーニング: このフレームワークは、収集された事前トレーニングされたモデル パラメーターをトレーニング データとして使用して、拡散モデルをトレーニングし、モデル パラメーターの生成プロセスを学習します。拡散モデルは、ランダムな初期化から始まるパラメータ最適化プロセスと同様のプロセスである段階的なノイズ除去を通じてパラメータを生成するため、対象都市のデータ分布によりよく適応できます。

3. ニューラル ネットワーク パラメーターの生成: 事前トレーニング後、ターゲット都市の地域的な手がかりを使用してパラメーターを生成できます。このアプローチでは、ヒントを活用して知識の伝達と正確なパラメーターのマッチングを促進し、都市間地域間の類似点を最大限に活用します。

プレトレーニングキュー微調整フレームワークでは、特定の領域の特性を捉えることができる限り、キューの選択は非常に柔軟であることに注目する価値があります。たとえば、人口、地域、機能、興味のある地点 (POI) の分布などのさまざまな静的特徴を使用して、この目的を達成できます。

この研究では、空間的および時間的側面の両方から地域的な手がかりを利用しています。空間的な手がかりは、都市知識グラフ [1,2] のノード表現から得られます。地域的な隣接性や機能的類似性などの関係のみを使用します。これらの関係は、容易に理解できます。すべての都市で利用可能であり、時間的手がかりは自己教師あり学習モデルのエンコーダーから得られます。プロンプトデザインの詳細については、元の記事を参照してください。

さらに、この研究では、さまざまなキュー導入方法も調査され、事前知識に基づくキュー導入が最適なパフォーマンスを発揮することが実験で検証されました。つまり、空間キューを使用して、空間相関をモデル化するためのニューラル ネットワーク パラメーターの生成をガイドします。 、および時間プロンプトを使用して、時間ニューラル ネットワーク パラメーターの生成をガイドします。

実験結果

チームは、他の研究者が結果を再現できるように、論文の中で実験設定を詳細に説明しました。彼らはまた、オリジナルの論文とオープンソース データ コードを提供しました。ここではその実験結果に焦点を当てます。

提案されたフレームワークの有効性を評価するために、この研究では、複数の都市データセットを対象として、群衆の流れ予測と交通速度予測という 2 つの古典的な時空間予測タスクに関する実験を実施しました。

図表 1 は、4 つのデータセットに関する最先端のベースライン手法との比較結果を示しています。これらの結果に基づいて、次のことがわかります。

1) GPD は、ベースライン モデルと比較してパフォーマンスに大きな利点を示し、さまざまなデータ シナリオで一貫して優れたパフォーマンスを示します。これは、GPD が効果的なニューラル ネットワーク パラメーター レベルの知識伝達を達成していることを示しています。

2) GPD は長期予測シナリオで良好なパフォーマンスを示します。この重要な傾向は、フレームワークによるより重要な知識のマイニングに起因し、長期的な時空間パターンの知識を対象都市に伝達するのに役立ちます。

図 3 さまざまな時空間予測モデルのパフォーマンスの比較

さらに、この研究では、さまざまな時空間予測に適応するための GPD フレームワークの柔軟性も検証されました。モデル。古典的な時空間グラフ手法 STGCN に加えて、この研究では時空間予測モデルとして GWN と STID も導入し、拡散モデルを使用してそれらのネットワーク パラメーターを生成します。

実験の結果、フレームワークの優位性はモデルの選択に影響されず、さまざまな先進的なモデルに適応できることがわかりました。

さらに、この研究では、2 つの合成データセットのパターン類似性を操作することによってケース分析を実行します。

図 4 は、領域 A と B が非常に類似した時系列パターンを持っているのに対し、領域 C は大きく異なるパターンを示していることを示しています。一方、図 5 は、ノード A とノード B が対称な空間位置を持っていることを示しています。

したがって、領域 A と B は非常によく似た時空間パターンを持つ一方で、C とは明らかな違いがあると推測できます。モデルによって生成されたニューラル ネットワークのパラメーター分布の結果は、A と B のパラメーター分布は似ていますが、C のパラメーター分布とは大きく異なることを示しています。これにより、GPD フレームワークが多様な時空間パターンを持つニューラル ネットワーク パラメーターを効果的に生成できることがさらに検証されました。

図 4 さまざまな地域における時系列とニューラル ネットワーク パラメーターの分布の視覚化

図 5 地域別のシミュレーション データ セットspace 接続関係

参考:

https://www.php.cn/link/6644cb08d30b2ca55c284344a9750c2e

[1] Liu, Yu, 他al.「Urbankg: 都市型ナレッジ グラフ システム」ACM Transactions on Intelligent Systems and Technology 14.4 (2023): 1-25.

[2] Zhou、Zhilun、他「階層型ナレッジ グラフ学習が可能」位置ベースのソーシャル ネットワークにおける社会経済指標の予測。」ACM Web Conference 2023 の議事録。2023.

以上が「データ不足」問題に対する賢明な解決策!清華社オープンソース GPD: 拡散モデルを使用してニューラル ネットワーク パラメーターを生成の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。