時系列予測は、小売、金融、製造、ヘルスケア、自然科学などのさまざまな分野で重要な役割を果たしています。小売業界では、需要予測の精度を向上させることで、在庫コストを効果的に削減し、収益を増やすことができます。これは、企業が顧客の需要をより適切に満たし、在庫の過剰と損失を削減しながら、売上と利益を増加できることを意味します。したがって、時系列予測は小売分野で非常に価値があり、企業に多大なメリットをもたらす可能性があります。
ディープラーニング (DL) モデルが「多変数時系列予測」タスクの大半を占めています。様々な競技や実践で優秀な成績を収めています。
同時に、自然言語処理 (NLP) タスクにおける大規模な基本言語モデルが大幅に進歩し、翻訳、検索拡張生成、検索拡張などのタスクが効果的に改善されました。コード補完のパフォーマンス。
NLP モデルのトレーニングは、クローラー、オープン ソース コードなど、さまざまなソースから取得される大量のテキスト データに依存します。トレーニングされたモデルは、言語内のパターンを認識し、サンプル学習の能力: たとえば、検索タスクに大規模なモデルを使用する場合、モデルは現在のイベントに関する質問に答え、それらを要約することができます。
ディープ ラーニング ベースの予測器は、トレーニングや推論コストの削減など、多くの点で従来の方法よりも優れていますが、克服する必要のある課題がまだいくつかあります。
多くの深層学習モデルは、新しい時系列でテストする前に、長時間にわたるトレーニングと検証を経ます。対照的に、時系列予測の基礎となるモデルには「すぐに使える予測」機能があり、追加のトレーニングなしで未知の時系列データに適用できます。この機能により、ユーザーは小売需要計画などの実際的な下流タスクの予測の改善に集中できます。
Google Research の研究者らは最近、TimesFM と呼ばれる時系列予測の基本モデルを提案しました。これは 1,000 億の現実世界の時点で事前トレーニングされました。現在の最先端の大規模言語モデル (LLM) と比較すると、TimesFM のサイズははるかに小さく、含まれるパラメーターはわずか 2 億です。
論文リンク: https://arxiv.org/pdf/2310.10688.pdf
実験その結果、TimesFM は、サイズが小さいにもかかわらず、さまざまなドメインおよび時間スケールにわたるさまざまな未トレーニングのデータセットに対して驚くべき「ゼロショット パフォーマンス」を示し、明確にトレーニングされた最先端の教師付きメソッドのパフォーマンスに近づいていることが示されています。データセット。
研究者らは、今年後半に Google Cloud Vertex AI で外部の顧客が TimesFM モデルを利用できるようにする予定です。
基本モデル TimesFM
LLM は通常、次の 3 つのステップを含むデコーダのみの方法でトレーニングされます:
1。テキストは、トークン
2 と呼ばれるサブワードに分割されます。トークンは、積み重ねられた因果 Transformer レイヤーに供給され、各入力トークンに対応する出力で生成されます。このレイヤーは、対応する出力なしではトークンを処理できないことに注意してください。入力、つまり将来のトークン
3. i 番目のトークンに対応する出力は、前のトークンからのすべての情報を要約し、(i 1) 番目のトークンを予測します。
推論中、LLM は一度に 1 つのトークンの出力を生成します。
たとえば、「フランスの首都は何ですか?」というプロンプトを入力すると、モデルはトークン「The」を生成し、その後、このプロンプトを使用して、モデルが完全な答え「フランスの首都はパリです」 (フランスの首都はパリです) を生成するまで、条件に対して次のトークン「首都」を生成します。
時系列予測の基礎となるモデルは、事前トレーニングされた大規模なデータセットからデータをエンコードするのに十分な能力を備えながら、変数コンテキスト (モデルが観察するもの) と範囲 (クエリ モデルが予測するもの) の長さに適応する必要があります。パターン。
LLM と同様に、研究者らは、TimesFM モデルの主な構成要素として、スタックされた Transformer レイヤー (セルフ アテンション レイヤーとフィードフォワード レイヤー) を使用しました。 ; 時系列予測のコンテキストでは、パッチ (一連の連続した時点) がトークンとして使用されます。このアイデアは、最近の長期予測作業から来ています。具体的なタスクは、スタックされた Transformer の最後で予測することです。レイヤーでは、指定された th i 出力に対して (i 1) 番目の時点パッチを予測します
#ただし、TimesFM には言語モデルとの重要な違いがいくつかあります:
1. このモデルには、時系列パッチをトークンに変換するための残留接続を備えた多層パーセプトロン ブロックが必要です。トークンは、位置エンコーディング (PE) とともに Transformer 層に入力できます。これを行うために、長期予測における以前の研究と同様の残差ブロックを使用します。
2. スタックされた Transformer からの出力トークンを使用して、入力パッチの長さよりも長い後続の時点の長さを予測できます。つまり、出力パッチの長さは次のようになります。入力パッチの長さを超えています。
長さ 512 タイム ポイントの時系列を使用して、「入力パッチ長 32」および「出力パッチ長 128」で TimesFM モデルをトレーニングすると仮定します。
トレーニング中に、最初の 32 時点を使用して次の 128 時点を予測し、最初の 64 時点を使用して 65 ～ 192 の時点を予測し、最初の 96 時点を使用するようにモデルが同時にトレーニングされます。時点 97 ～ 224 などを予測します。
入力データが長さ 256 の時系列であり、そのタスクが将来の次の 256 時点を予測することであると仮定すると、モデルは最初に時点 257 の将来予測を生成します。次に、最初の 256 の長さの入力と生成された出力を条件として、時点 385 から 512 が生成されます。
一方、モデル内の出力パッチの長さが入力パッチの長さ 32 に等しい場合、同じタスクに対して、モデルは 8 つの生成ステップを実行します。 2、誤差の累積リスクが増加するため、実験結果では、出力パッチ長が長いほど長期予測パフォーマンスが向上することがわかります。
事前トレーニング データLLM がより多くのトークンで改善できるのと同じように、TimesFM は学習と改善のために大量の正規の時系列データを必要とします。トレーニング データ セットの作成と評価に多くの時間を費やしましたが、より良い 2 つの方法を見つけました:
合成データは基本をサポートします
統計モデルまたは物理シミュレーションを使用して、意味のある合成時系列データを生成でき、基本的な時間パターンに基づいてモデルが時系列予測の構文を学習できます。
#実世界のデータが現実世界の風味を加える
研究者たちは、利用可能な公開時系列データセットを徹底的に調査し、選択的に1,000 億のタイムポイントからなる大規模なコーパスをまとめました。データ セットには、Google トレンドと Wikipedia のページ ビューがあり、ユーザーが何に興味を持っているかを追跡し、他の多くの実世界の時系列の傾向やパターンをよく反映しています。これは、TimesFM が全体像を理解するのに役立ち、「トレーニング中に表示されなかったドメイン固有のコンテキスト」の汎化パフォーマンスを向上させることができます。
研究者らは、一般的に使用されている時系列ベンチマークを使用して、トレーニング中に見られなかったデータに対するTimesFMのゼロサンプル評価を実施しました。その結果、TimesFMのパフォーマンスが優れていることが観察されました。 ARIMA、ETS などのほとんどの統計手法よりも優れており、ターゲット時系列で明示的にトレーニングされた DeepAR、PatchTST などの強力な DL モデルと同等またはそれを上回るパフォーマンスを発揮できます。 研究者らは、Monash Forecasting Archive を使用して、交通、天気、需要などのさまざまなドメインからの数万の時系列を含むデータセットである TimesFM のすぐに使用できるパフォーマンスを評価しました。予測、カバレッジ頻度は数分から年間データまで多岐にわたります。 研究者らは、既存の文献に基づいて、データセット全体を平均するために適切にスケーリングされた平均絶対誤差 (MAE) を調べました。 ご覧のとおり、ゼロショット (ZS) TimesFM は、最近の深層学習モデルを含むほとんどの教師あり手法よりも優れたパフォーマンスを発揮します。また、llmtime (ZS) が提案する特定のヒント技術を使用した予測について、TimesFM と GPT-3.5 が比較されました。その結果、TimesFM のパフォーマンスが llmtime (ZS) よりも優れていることが証明されました。 ほとんどの Monash データセットは短いか中程度です。これは予測期間が長すぎないことを意味しており、研究者らはまた、最先端のベースライン PatchTST (およびその他の長期予測ベースライン) に対して、一般的に使用されているベンチマーク長期予測に対して TimesFM をテストしました。 研究者らは、将来の 96 時点と 192 時点を予測するタスクのために ETT データセットに MAE をプロットし、各データセットの最後のテスト ウィンドウでメトリクスを計算しました。 #TimesFM(ZS) と llmtime(ZS) のラスト ウィンドウ MAE (低いほど良い) と ETT データセット ベースラインの長期予測 結論 研究者らは、実世界の 1,000 億時点の大規模な事前トレーニング コーパス (そのほとんどが検索インタレストであった) を使用して、基本デコーダのみのモデルをトレーニングしました。 Google トレンドと Wikipedia ページビューからの時系列データ。 ゼロサンプル評価結果
以上がわずか 2 億パラメータで、ゼロサンプルのパフォーマンスは教師付きを上回ります。 Google、基本的な時系列予測モデルTimesFMをリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
从VAE到扩散模型：一文解读以文生图新范式Apr 08, 2023 pm 08:41 PM1 前言在发布DALL·E的15个月后，OpenAI在今年春天带了续作DALL·E 2，以其更加惊艳的效果和丰富的可玩性迅速占领了各大AI社区的头条。近年来，随着生成对抗网络（GAN）、变分自编码器（VAE）、扩散模型（Diffusion models）的出现，深度学习已向世人展现其强大的图像生成能力；加上GPT-3、BERT等NLP模型的成功，人类正逐步打破文本和图像的信息界限。在DALL·E 2中，只需输入简单的文本（prompt），它就可以生成多张1024*1024的高清图像。这些图像甚至
找不到中文语音预训练模型？中文版 Wav2vec 2.0和HuBERT来了Apr 08, 2023 pm 06:21 PMWav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的无标注语音数据（如 Libri-light ）上的自监督学习，显著提升了自动语音识别（Automatic Speech Recognition, ASR），语音合成（Text-to-speech, TTS）和语音转换（Voice Conversation，VC）等语音下游任务的性能。然而这些模型都没有公开的中文版本，不便于应用在中文语音研究场景。 WenetSpeech [4] 是
普林斯顿陈丹琦：如何让「大模型」变小Apr 08, 2023 pm 04:01 PM“Making large models smaller”这是很多语言模型研究人员的学术追求，针对大模型昂贵的环境和训练成本，陈丹琦在智源大会青源学术年会上做了题为“Making large models smaller”的特邀报告。报告中重点提及了基于记忆增强的TRIME算法和基于粗细粒度联合剪枝和逐层蒸馏的CofiPruning算法。前者能够在不改变模型结构的基础上兼顾语言模型困惑度和检索速度方面的优势；而后者可以在保证下游任务准确度的同时实现更快的处理速度，具有更小的模型结构。陈丹琦 普
解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉TransformerApr 09, 2023 pm 02:01 PM由于复杂的注意力机制和模型设计，大多数现有的视觉 Transformer（ViT）在现实的工业部署场景中不能像卷积神经网络（CNN）那样高效地执行。这就带来了一个问题：视觉神经网络能否像 CNN 一样快速推断并像 ViT 一样强大？近期一些工作试图设计 CNN-Transformer 混合架构来解决这个问题，但这些工作的整体性能远不能令人满意。基于此，来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer——Next-ViT。从延迟 / 准确性权衡的角度看，
Stable Diffusion XL 现已推出—有什么新功能，你知道吗？Apr 07, 2023 pm 11:21 PM3月27号，Stability AI的创始人兼首席执行官Emad Mostaque在一条推文中宣布，Stable Diffusion XL 现已可用于公开测试。以下是一些事项：“XL”不是这个新的AI模型的官方名称。一旦发布稳定性AI公司的官方公告，名称将会更改。与先前版本相比，图像质量有所提高与先前版本相比，图像生成速度大大加快。示例图像让我们看看新旧AI模型在结果上的差异。Prompt: Luxury sports car with aerodynamic curves, shot in a
什么是Transformer机器学习模型？Apr 08, 2023 pm 06:31 PM译者 | 李睿审校 | 孙淑娟近年来， Transformer 机器学习模型已经成为深度学习和深度神经网络技术进步的主要亮点之一。它主要用于自然语言处理中的高级应用。谷歌正在使用它来增强其搜索引擎结果。OpenAI 使用 Transformer 创建了著名的 GPT-2和 GPT-3模型。自从2017年首次亮相以来，Transformer 架构不断发展并扩展到多种不同的变体，从语言任务扩展到其他领域。它们已被用于时间序列预测。它们是 DeepMind 的蛋白质结构预测模型 AlphaFold
五年后AI所需算力超100万倍！十二家机构联合发表88页长文：「智能计算」是解药Apr 09, 2023 pm 07:01 PM人工智能就是一个「拼财力」的行业，如果没有高性能计算设备，别说开发基础模型，就连微调模型都做不到。但如果只靠拼硬件，单靠当前计算性能的发展速度，迟早有一天无法满足日益膨胀的需求，所以还需要配套的软件来协调统筹计算能力，这时候就需要用到「智能计算」技术。最近，来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文，首次对智能计算领域进行了全面的调研，涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。论文链接：https://spj.scien
AI模型告诉你，为啥巴西最可能在今年夺冠！曾精准预测前两届冠军Apr 09, 2023 pm 01:51 PM说起2010年南非世界杯的最大网红，一定非「章鱼保罗」莫属！这只位于德国海洋生物中心的神奇章鱼，不仅成功预测了德国队全部七场比赛的结果，还顺利地选出了最终的总冠军西班牙队。不幸的是，保罗已经永远地离开了我们，但它的「遗产」却在人们预测足球比赛结果的尝试中持续存在。在艾伦图灵研究所（The Alan Turing Institute），随着2022年卡塔尔世界杯的持续进行，三位研究员Nick Barlow、Jack Roberts和Ryan Chan决定用一种AI算法预测今年的冠军归属。预测模型图
ホットAIツール
Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ
AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。
Undress AI Tool
脱衣画像を無料で
Clothoff.io
AI衣類リムーバー
AI Hentai Generator
AIヘンタイを無料で生成します。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無料のコードエディター
PhpStorm Mac バージョン
最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
EditPlus 中国語クラック版
サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません
mPDF
mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。
ホットトピック
7433
15135952