検索
ホームページテクノロジー周辺機器AIわずか 2 億パラメータで、ゼロサンプルのパフォーマンスは教師付きを上回ります。 Google、基本的な時系列予測モデルTimesFMをリリース

時系列予測は、小売、金融、製造、ヘルスケア、自然科学などのさまざまな分野で重要な役割を果たしています。小売業界では、需要予測の精度を向上させることで、在庫コストを効果的に削減し、収益を増やすことができます。これは、企業が顧客の需要をより適切に満たし、在庫の過剰と損失を削減しながら、売上と利益を増加できることを意味します。したがって、時系列予測は小売分野で非常に価値があり、企業に多大なメリットをもたらす可能性があります。

ディープラーニング (DL) モデルが「多変数時系列予測」タスクの大半を占めています。様々な競技や実践で優秀な成績を収めています。

同時に、自然言語処理 (NLP) タスクにおける大規模な基本言語モデルが大幅に進歩し、翻訳、検索拡張生成、検索拡張などのタスクが効果的に改善されました。コード補完のパフォーマンス。

NLP モデルのトレーニングは、クローラー、オープン ソース コードなど、さまざまなソースから取得される大量のテキスト データに依存します。トレーニングされたモデルは、言語内のパターンを認識し、サンプル学習の能力: たとえば、検索タスクに大規模なモデルを使用する場合、モデルは現在のイベントに関する質問に答え、それらを要約することができます。

ディープ ラーニング ベースの予測器は、トレーニングや推論コストの削減など、多くの点で従来の方法よりも優れていますが、克服する必要のある課題がまだいくつかあります。

多くの深層学習モデルは、新しい時系列でテストする前に、長時間にわたるトレーニングと検証を経ます。対照的に、時系列予測の基礎となるモデルには「すぐに使える予測」機能があり、追加のトレーニングなしで未知の時系列データに適用できます。この機能により、ユーザーは小売需要計画などの実際的な下流タスクの予測の改善に集中できます。

Google Research の研究者らは最近、TimesFM と呼ばれる時系列予測の基本モデルを提案しました。これは 1,000 億の現実世界の時点で事前トレーニングされました。現在の最先端の大規模言語モデル (LLM) と比較すると、TimesFM のサイズははるかに小さく、含まれるパラメーターはわずか 2 億です。

わずか 2 億パラメータで、ゼロサンプルのパフォーマンスは教師付きを上回ります。 Google、基本的な時系列予測モデルTimesFMをリリース

論文リンク: https://arxiv.org/pdf/2310.10688.pdf

実験その結果、TimesFM は、サイズが小さいにもかかわらず、さまざまなドメインおよび時間スケールにわたるさまざまな未トレーニングのデータセットに対して驚くべき「ゼロショット パフォーマンス」を示し、明確にトレーニングされた最先端の教師付きメソッドのパフォーマンスに近づいていることが示されています。データセット。

研究者らは、今年後半に Google Cloud Vertex AI で外部の顧客が TimesFM モデルを利用できるようにする予定です。

基本モデル TimesFM

LLM は通常、次の 3 つのステップを含むデコーダのみの方法でトレーニングされます:

1。テキストは、トークン

2 と呼ばれるサブワードに分割されます。トークンは、積み重ねられた因果 Transformer レイヤーに供給され、各入力トークンに対応する出力で生成されます。このレイヤーは、対応する出力なしではトークンを処理できないことに注意してください。入力、つまり将来のトークン

3. i 番目のトークンに対応する出力は、前のトークンからのすべての情報を要約し、(i 1) 番目のトークンを予測します。

推論中、LLM は一度に 1 つのトークンの出力を生成します。

たとえば、「フランスの首都は何ですか?」というプロンプトを入力すると、モデルはトークン「The」を生成し、その後、このプロンプトを使用して、モデルが完全な答え「フランスの首都はパリです」 (フランスの首都はパリです) を生成するまで、条件に対して次のトークン「首都」を生成します。

時系列予測の基礎となるモデルは、事前トレーニングされた大規模なデータセットからデータをエンコードするのに十分な能力を備えながら、変数コンテキスト (モデルが観察するもの) と範囲 (クエリ モデルが予測するもの) の長さに適応する必要があります。パターン。

わずか 2 億パラメータで、ゼロサンプルのパフォーマンスは教師付きを上回ります。 Google、基本的な時系列予測モデルTimesFMをリリース

LLM と同様に、研究者らは、TimesFM モデルの主な構成要素として、スタックされた Transformer レイヤー (セルフ アテンション レイヤーとフィードフォワード レイヤー) を使用しました。 ; 時系列予測のコンテキストでは、パッチ (一連の連続した時点) がトークンとして使用されます。このアイデアは、最近の長期予測作業から来ています。具体的なタスクは、スタックされた Transformer の最後で予測することです。レイヤーでは、指定された th i 出力に対して (i 1) 番目の時点パッチを予測します

#ただし、TimesFM には言語モデルとの重要な違いがいくつかあります:

1. このモデルには、時系列パッチをトークンに変換するための残留接続を備えた多層パーセプトロン ブロックが必要です。トークンは、位置エンコーディング (PE) とともに Transformer 層に入力できます。これを行うために、長期予測における以前の研究と同様の残差ブロックを使用します。

2. スタックされた Transformer からの出力トークンを使用して、入力パッチの長さよりも長い後続の時点の長さを予測できます。つまり、出力パッチの長さは次のようになります。入力パッチの長さを超えています。

長さ 512 タイム ポイントの時系列を使用して、「入力パッチ長 32」および「出力パッチ長 128」で TimesFM モデルをトレーニングすると仮定します。

トレーニング中に、最初の 32 時点を使用して次の 128 時点を予測し、最初の 64 時点を使用して 65 ~ 192 の時点を予測し、最初の 96 時点を使用するようにモデルが同時にトレーニングされます。時点 97 ~ 224 などを予測します。

入力データが長さ 256 の時系列であり、そのタスクが将来の次の 256 時点を予測することであると仮定すると、モデルは最初に時点 257 の将来予測を生成します。次に、最初の 256 の長さの入力と生成された出力を条件として、時点 385 から 512 が生成されます。

一方、モデル内の出力パッチの長さが入力パッチの長さ 32 に等しい場合、同じタスクに対して、モデルは 8 つの生成ステップを実行します。 2、誤差の累積リスクが増加するため、実験結果では、出力パッチ長が長いほど長期予測パフォーマンスが向上することがわかります。

事前トレーニング データ

LLM がより多くのトークンで改善できるのと同じように、TimesFM は学習と改善のために大量の正規の時系列データを必要とします。トレーニング データ セットの作成と評価に多くの時間を費やしましたが、より良い 2 つの方法を見つけました:

合成データは基本をサポートします

統計モデルまたは物理シミュレーションを使用して、意味のある合成時系列データを生成でき、基本的な時間パターンに基づいてモデルが時系列予測の構文を学習できます。

#実世界のデータが現実世界の風味を加える

研究者たちは、利用可能な公開時系列データセットを徹底的に調査し、選択的に1,000 億のタイムポイントからなる大規模なコーパスをまとめました。

データ セットには、Google トレンドと Wikipedia のページ ビューがあり、ユーザーが何に興味を持っているかを追跡し、他の多くの実世界の時系列の傾向やパターンをよく反映しています。これは、TimesFM が全体像を理解するのに役立ち、「トレーニング中に表示されなかったドメイン固有のコンテキスト」の汎化パフォーマンスを向上させることができます。

ゼロサンプル評価結果

研究者らは、一般的に使用されている時系列ベンチマークを使用して、トレーニング中に見られなかったデータに対するTimesFMのゼロサンプル評価を実施しました。その結果、TimesFMのパフォーマンスが優れていることが観察されました。 ARIMA、ETS などのほとんどの統計手法よりも優れており、ターゲット時系列で明示的にトレーニングされた DeepAR、PatchTST などの強力な DL モデルと同等またはそれを上回るパフォーマンスを発揮できます。

研究者らは、Monash Forecasting Archive を使用して、交通、天気、需要などのさまざまなドメインからの数万の時系列を含むデータセットである TimesFM のすぐに使用できるパフォーマンスを評価しました。予測、カバレッジ頻度は数分から年間データまで多岐にわたります。

研究者らは、既存の文献に基づいて、データセット全体を平均するために適切にスケーリングされた平均絶対誤差 (MAE) を調べました。

ご覧のとおり、ゼロショット (ZS) TimesFM は、最近の深層学習モデルを含むほとんどの教師あり手法よりも優れたパフォーマンスを発揮します。また、llmtime (ZS) が提案する特定のヒント技術を使用した予測について、TimesFM と GPT-3.5 が比較されました。その結果、TimesFM のパフォーマンスが llmtime (ZS) よりも優れていることが証明されました。

Monash データセットにおける TimesFM (ZS) と他の教師ありメソッドおよびゼロショット メソッドの MAE の比率 (低いほど優れています)

わずか 2 億パラメータで、ゼロサンプルのパフォーマンスは教師付きを上回ります。 Google、基本的な時系列予測モデルTimesFMをリリース

ほとんどの Monash データセットは短いか中程度です。これは予測期間が長すぎないことを意味しており、研究者らはまた、最先端のベースライン PatchTST (およびその他の長期予測ベースライン) に対して、一般的に使用されているベンチマーク長期予測に対して TimesFM をテストしました。

研究者らは、将来の 96 時点と 192 時点を予測するタスクのために ETT データセットに MAE をプロットし、各データセットの最後のテスト ウィンドウでメトリクスを計算しました。

#TimesFM(ZS) と llmtime(ZS) のラスト ウィンドウ MAE (低いほど良い) と ETT データセット ベースラインの長期予測

わずか 2 億パラメータで、ゼロサンプルのパフォーマンスは教師付きを上回ります。 Google、基本的な時系列予測モデルTimesFMをリリース

TimesFM は、llmtime (ZS) のパフォーマンスを上回るだけでなく、対応するデータセットで明示的にトレーニングされた教師あり PatchTST モデルのパフォーマンスにも匹敵することがわかります。

結論

研究者らは、実世界の 1,000 億時点の大規模な事前トレーニング コーパス (そのほとんどが検索インタレストであった) を使用して、基本デコーダのみのモデルをトレーニングしました。 Google トレンドと Wikipedia ページビューからの時系列データ。

結果は、TimesFM アーキテクチャを使用した比較的小さな 200 M パラメータの事前トレーニング済みモデルでも、さまざまな公開ベンチマーク (さまざまなドメインと粒度) で優れたパフォーマンスを示していることを示しています。ショットパフォーマンス。

以上がわずか 2 億パラメータで、ゼロサンプルのパフォーマンスは教師付きを上回ります。 Google、基本的な時系列予測モデルTimesFMをリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
踊りましょう:私たちの人間のニューラルネットを微調整するための構造化された動き踊りましょう:私たちの人間のニューラルネットを微調整するための構造化された動きApr 27, 2025 am 11:09 AM

科学者は、彼らの機能を理解するために、人間とより単純なニューラルネットワーク(C. elegansのものと同様)を広く研究してきました。 ただし、重要な疑問が生じます。新しいAIと一緒に効果的に作業するために独自のニューラルネットワークをどのように適応させるのか

新しいGoogleリークは、Gemini AIのサブスクリプションの変更を明らかにします新しいGoogleリークは、Gemini AIのサブスクリプションの変更を明らかにしますApr 27, 2025 am 11:08 AM

GoogleのGemini Advanced:Horizo​​nの新しいサブスクリプションティア 現在、Gemini Advancedにアクセスするには、1か月あたり19.99ドルのGoogle One AIプレミアムプランが必要です。 ただし、Android Authorityのレポートは、今後の変更を示唆しています。 最新のGoogle p

データ分析の加速がAIの隠されたボトルネックをどのように解決しているかデータ分析の加速がAIの隠されたボトルネックをどのように解決しているかApr 27, 2025 am 11:07 AM

高度なAI機能を取り巻く誇大宣伝にもかかわらず、エンタープライズAIの展開内に大きな課題が潜んでいます:データ処理ボトルネック。 CEOがAIの進歩を祝う間、エンジニアはクエリの遅い時間、過負荷のパイプライン、

MarkitDown MCPは、任意のドキュメントをマークダウンに変換できます!MarkitDown MCPは、任意のドキュメントをマークダウンに変換できます!Apr 27, 2025 am 09:47 AM

ドキュメントの取り扱いは、AIプロジェクトでファイルを開くだけでなく、カオスを明確に変えることです。 PDF、PowerPoint、Wordなどのドキュメントは、あらゆる形状とサイズでワークフローをフラッシュします。構造化された取得

建物のエージェントにGoogle ADKを使用する方法は? - 分析Vidhya建物のエージェントにGoogle ADKを使用する方法は? - 分析VidhyaApr 27, 2025 am 09:42 AM

Googleのエージェント開発キット(ADK)のパワーを活用して、実際の機能を備えたインテリジェントエージェントを作成します。このチュートリアルは、ADKを使用して会話エージェントを構築し、GeminiやGPTなどのさまざまな言語モデルをサポートすることをガイドします。 w

効果的な問題解決のためにLLMを介したSLMの使用 - 分析Vidhya効果的な問題解決のためにLLMを介したSLMの使用 - 分析VidhyaApr 27, 2025 am 09:27 AM

まとめ: Small Language Model(SLM)は、効率のために設計されています。それらは、リソース不足、リアルタイム、プライバシーに敏感な環境の大手言語モデル(LLM)よりも優れています。 特にドメインの特異性、制御可能性、解釈可能性が一般的な知識や創造性よりも重要である場合、フォーカスベースのタスクに最適です。 SLMはLLMSの代替品ではありませんが、精度、速度、費用対効果が重要な場合に理想的です。 テクノロジーは、より少ないリソースでより多くを達成するのに役立ちます。それは常にドライバーではなく、プロモーターでした。蒸気エンジンの時代からインターネットバブル時代まで、テクノロジーの力は、問題の解決に役立つ範囲にあります。人工知能(AI)および最近では生成AIも例外ではありません

コンピュータービジョンタスクにGoogle Geminiモデルを使用する方法は? - 分析VidhyaコンピュータービジョンタスクにGoogle Geminiモデルを使用する方法は? - 分析VidhyaApr 27, 2025 am 09:26 AM

コンピュータービジョンのためのGoogleGeminiの力を活用:包括的なガイド 大手AIチャットボットであるGoogle Geminiは、その機能を会話を超えて拡張して、強力なコンピュータービジョン機能を網羅しています。 このガイドの利用方法については、

Gemini 2.0 Flash vs O4-Mini:GoogleはOpenaiよりもうまくやることができますか?Gemini 2.0 Flash vs O4-Mini:GoogleはOpenaiよりもうまくやることができますか?Apr 27, 2025 am 09:20 AM

2025年のAIランドスケープは、GoogleのGemini 2.0 FlashとOpenaiのO4-Miniの到着とともに感動的です。 数週間離れたこれらの最先端のモデルは、同等の高度な機能と印象的なベンチマークスコアを誇っています。この詳細な比較

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

DVWA

DVWA

Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、