Analisis Masa Pentagon Warrior! Universiti Tsinghua mencadangkan TimesNet: terkemuka dalam ramalan, pengisian, pengelasan dan pengesanan

Mencapai kepelbagaian tugas ialah isu teras dalam penyelidikan model pembelajaran mendalam asas, dan juga merupakan salah satu kebimbangan utama dalam hala tuju model besar terkini.

Walau bagaimanapun, dalam medan siri masa, pelbagai jenis tugasan analisis sangat berbeza-beza, termasuk tugas ramalan yang memerlukan pemodelan yang terperinci dan tugas pengelasan yang memerlukan pengekstrakan maklumat semantik peringkat tinggi. Cara membina model asas mendalam bersatu untuk menyelesaikan pelbagai tugas analisis pemasaan dengan cekapBelum ada penyelesaian yang ditetapkan sebelum ini.

Untuk tujuan ini, pasukan dari Pusat Pengajian Perisian, Universiti Tsinghua menjalankan penyelidikan tentang isu asas pemodelan perubahan masa dan mencadangkan model asas pemasaan tugas-sejagat TimesNet diterima oleh ICLR 2023.

Senarai pengarang: Wu Haixu*, Hu Tengge*, Liu Yong*, Zhou Hang, Wang Jianmin , Long Mingsheng

Pautan: https://openreview.net/pdf?id=ju_Uqw384Oq

Kod: https://github.com/thuml/TimesNet

Pustaka algoritma siri masa: https://github.com/thuml/ Time-Series-Library

TimesNet telah mencapai kepimpinan menyeluruh dalam lima tugas utama ramalan jangka panjang dan jangka pendek, pengisian nilai hilang, pengesanan anomali dan pengelasan.

1 Analisis Masalah

Berbeza daripada data jujukan seperti bahasa semula jadi dan video, data individu dalam siri masa Masa hanya menjimatkan beberapa skalar, dan maklumat utamanya lebih terkandung dalam variasi temporal (Variasi Temporal).

Oleh itu, Memodelkan perubahan masa ialah isu teras yang biasa kepada semua jenis tugasan analisis masa.

Dalam beberapa tahun kebelakangan ini, pelbagai model dalam telah digunakan secara meluas dalam tugasan analisis masa, seperti rangkaian neural berulang (RNN), rangkaian konvolusi temporal (TCN) dan rangkaian transformer ( Transformer).

Walau bagaimanapun, dua jenis kaedah pertama tertumpu terutamanya pada menangkap perubahan antara momen berdekatan dan mempunyai keupayaan pemodelan yang tidak mencukupi dalam kebergantungan jangka panjang.

Walaupun Transformer mempunyai kelebihan semula jadi dalam memodelkan kebergantungan jangka panjang, disebabkan perubahan masa yang sangat kompleks dalam dunia nyata, adalah sukar untuk melombongnya semata-mata dengan bergantung pada perhatian antara diskret titik masa yang boleh dipercayai.

Untuk tujuan ini, artikel ini menganalisis perubahan masa daripada perspektif berbilang tempoh baharu, seperti yang ditunjukkan dalam rajah di bawah. Kami perhatikan bahawa:

• siri masa secara semula jadi berbilang berkala .

Data siri masa dalam dunia nyata selalunya merupakan superposisi proses berkala yang berbeza Contohnya, data trafik berubah setiap hari dalam jangka pendek, manakala dalam jangka masa panjang istilah ia berubah setiap minggu. Data tempoh yang berbeza ini bertindih dan mengganggu antara satu sama lain, yang membawa cabaran besar kepada analisis siri masa.

• Siri masa mempersembahkan dua jenis perubahan siri masa dalam kitaran dan antara kitaran .

Khususnya, untuk proses kitaran tertentu, perubahan pada setiap titik masa bukan sahaja berkaitan dengan momen bersebelahan, tetapi juga sangat berkaitan dengan proses yang serupa di bahagian bersebelahan. kitaran. Antaranya, perubahan dalam kitaran sepadan dengan proses jangka pendek, manakala perubahan antara kitaran boleh mencerminkan arah aliran jangka panjang dalam kitaran berturut-turut. Nota: Jika siri masa tidak mempunyai keberkalaan yang jelas, ia adalah bersamaan dengan keadaan di mana tempoh itu tidak terhingga panjang.

2 Idea Reka Bentuk

Berdasarkan dua pemerhatian di atas, kami mereka bentuk struktur TimesNet seperti berikut:

• Sifat berbilang berkala siri masa secara semula jadi mengilhamkan idea reka bentuk modular (Modular), iaitu, modul Tangkap perubahan temporal yang dikuasai oleh tempoh tertentu. Idea reka bentuk modular ini boleh memisahkan perubahan masa yang kompleks, yang bermanfaat untuk pemodelan seterusnya.
• Untuk perubahan dalam kitaran dan antara kitaran siri masa , artikel ini secara inovatif mencadangkan Kembangkan data siri masa satu dimensi kepada ruang dua dimensi untuk analisis. Seperti yang ditunjukkan dalam rajah di atas, dengan melipat siri masa satu dimensi berdasarkan berbilang kitaran, berbilang tensor dua dimensi (2D tensor) boleh diperolehi Lajur dan baris setiap tensor dua dimensi mencerminkan siri masa dalam kitaran dan antara kitaran masing-masing perubahan, iaitu, perubahan temporal dua dimensi (variasi 2D temporal) diperolehi.

Contoh di atas menunjukkan kesan visualisasi melipat data siri masa satu dimensi ke dalam ruang dua dimensi . Di sini, arah Tempoh mencerminkan perubahan dalam kitaran, manakala arah Kekerapan mewakili perubahan antara kitaran. Kita dapat melihat bahawa data siri masa yang diubah menjadi ruang dua dimensi mempunyai lokaliti dua dimensi yang jelas (lokasi 2D).

Oleh itu, selepas melipat data siri masa, kita boleh terus menggunakan Rangkaian Backbone Visual lanjutan untuk melakukan pengekstrakan ciri pada data siri masa, seperti Swin Transformer , ResNeXt, ConvNeXt, dsb. Reka bentuk ini juga membolehkan tugasan analisis masa mendapat manfaat secara langsung daripada medan penglihatan komputer yang berkembang pesat .

3 TimesNet

Berdasarkan idea di atas, kami mencadangkan model TimesNet, yang menguraikan perubahan masa yang kompleks kepada tempoh yang berbeza melalui struktur modular dan mengubah yang asal -masa dimensi ke Jujukan diubah menjadi ruang dua dimensi untuk mencapai pemodelan bersatu perubahan dalam kitaran dan antara kitaran .

Dalam bahagian ini, kami mula-mula akan memperkenalkan kaedah melanjutkan data siri masa kepada ruang dua dimensi, dan kemudian memperkenalkan seni bina keseluruhan model.

3.1 Perubahan masa: 1D->2D

Proses lipatan masa ditunjukkan dalam rajah di atas, yang kebanyakannya dibahagikan kepada mengikuti dua langkah:

(1) Pengekstrakan haid

Untuk tempoh masa , dimensi saluran bagi siri masa dimensi, maklumat tempoh boleh diekstrak terus oleh transformasi Fourier pantas (FFT) bagi dimensi masa, iaitu:

di mana, mewakili setiap satu Keamatan komponen frekuensi, kekerapan dengan keamatan terbesar sepadan dengan panjang tempoh yang paling ketara.

(2) Jujukan lipatan 1D->2D

Untuk Tempoh individu yang dipilih , lipat siri masa satu dimensi asal masing-masing Proses ini boleh diformalkan sebagai:

di mana, adalah untuk menambah 0 pada akhir. jujukan, Jadikan panjang jujukan boleh dibahagikan.

Melalui operasi di atas, kami memperoleh satu set tensor dua dimensi, yang sepadan dengan perubahan siri masa dua dimensi dengan tempoh .

3.2 Reka Bentuk Model

Seni bina keseluruhan TimesNet ditunjukkan dalam rajah:

Secara keseluruhan, TimesNet terdiri daripada TimesBlocks bertindan. Urutan input terlebih dahulu melalui lapisan pembenaman untuk mendapatkan ciri yang mendalam. Untuk TimesBlock lapisan ketiga, inputnya ialah dan outputnya ialah:

Secara khusus, seperti yang ditunjukkan dalam rajah di bawah, setiap TimesBlock mengandungi sub-proses berikut:

(1) Siri masa lipatan (1D->2D) : TimesBlock mula-mula mengekstrak tempoh daripada ciri siri masa satu dimensi input, dan kemudian menukarnya kepada perubahan siri masa Dua dimensi, iaitu perkara yang dibincangkan dalam bahagian sebelumnya:

(2) Ekstrak perwakilan perubahan siri masa dua dimensi (Perwakilan 2D) : Seperti yang dianalisis sebelum ini, perubahan siri masa dua dimensi yang ditukar mempunyai lokaliti 2D, jadi lilitan 2D boleh digunakan terus untuk mengekstrak ciri. Di sini, kami memilih model Inception klasik, iaitu:

Perlu diambil perhatian bahawa kerana kami telah menukar ciri temporal 1D kepada ruang 2D , jadi kami juga boleh menggunakan banyak model canggih dalam bidang penglihatan komputer, seperti ResNeXt, ConvNeXt, Swin Transformer berasaskan Perhatian, dsb. Ini membolehkan analisis siri masa berfungsi seiring dengan rangkaian tulang belakang visual.

(3) Mengembangkan siri masa (2D->1D) : Untuk gabungan berbilang tempoh berikutnya, kami mengembangkan perwakilan perubahan siri masa dua dimensi menjadi satu -ruang dimensi:

Trunc(⋅) bermaksud mengalih keluar 0 yang ditambahkan oleh operasi Padding(⋅) dalam langkah (1).

(4) Gabungan Suaian (Pengagregatan 1D) : Untuk menggabungkan maklumat berbilang tempoh, kami melakukan penjumlahan wajaran siri masa dua dimensi yang diekstrak perwakilan dan pilih Berat penjumlahan ialah keamatan frekuensi sepadan yang diperoleh dalam langkah (1):

Dengan menukar 1D siri masa Untuk reka bentuk ruang 2D, TimesNet melaksanakan proses pemodelan perubahan masa untuk "mengekstrak perubahan pemasaan dua dimensi dalam berbilang kitaran dan kemudian melakukan gabungan adaptif."

4 Eksperimen

Kami menjalankan eksperimen ke atas lima tugas utama: ramalan jangka panjang, ramalan jangka pendek, pengisian nilai hilang, pengesanan anomali dan pengelasan , meliputi 36 set data, 81 tetapan percubaan yang berbeza.

Pada masa yang sama, 19 kaedah kedalaman berbeza telah dibandingkan, termasuk yang terkini berdasarkan RNN, CNN, MLP , dan Model Transformer seperti N-BEATS (2019), Autoformer (2021), LSSL (2022), N-Hits (2022), FEDformer (2022), Dlinear (2023), dsb.

4.1 Keputusan keseluruhan

Seperti yang ditunjukkan dalam carta radar pembukaan, TimesNet mencapai SOTA pada kelima-lima tugasan.

(1) Ramalan jangka panjang : Mengenai tugas berprofil tinggi ini, TimesNet mengatasi model Transformer dan berasaskan MLP yang canggih.

(2) Ramalan jangka pendek : Set data M4 yang digunakan dalam eksperimen ini mengandungi 6 sub-dataset dengan frekuensi pensampelan berbeza, berjumlah lebih daripada 100,000 keping data. TimesNet masih mencapai hasil yang optimum dalam situasi pengedaran data yang kompleks ini, mengesahkan keupayaan pemodelan perubahan temporal model.

(3) Tugas pengelasan : Pada tugasan ini, TimesNet mengatasi algoritma Rocket klasik dan model pembelajaran mendalam yang canggih Pembentuk aliran.

Untuk lebih banyak perbandingan tugasan, sila lihat kertas kerja.

4.2 Generalisasi rangkaian tulang belakang visual

Kami menggantikan rangkaian Inception dalam TimesNet dengan rangkaian tulang belakang visual yang berbeza, Contohnya ResNet , ConvNext, Swin Transformer, dsb.

Seperti yang ditunjukkan dalam rajah di bawah, rangkaian tulang belakang visual yang lebih maju boleh membawa hasil yang lebih baik. Ini juga bermakna di bawah rangka kerja TimesNet, analisis siri masa boleh mendapat manfaat secara langsung daripada kemajuan dalam bidang rangkaian tulang belakang visual.

4.3 Analisis Perwakilan

Untuk meneroka lebih lanjut sumber Kesan TimesNet, Kami menunjukkan hubungan antara "persamaan CKA antara perwakilan peringkat bawah model" dan "kesan model". Antaranya, semakin rendah persamaan CKA, semakin besar perbezaan perwakilan antara lapisan bawah dan lapisan atas model, iaitu perwakilan yang lebih hierarki.

Daripada visualisasi di atas, kita boleh perhatikan :

• Dalam tugasan ramalan dan pengesanan anomali, model dengan prestasi yang lebih baik cenderung mempunyai persamaan perwakilan yang lebih tinggi antara lapisan bawah dan lapisan atas, yang menunjukkan bahawa tugas memerlukan lebih banyak perwakilan peringkat rendah;
• Dalam pengelasan dan tugasan pengisian nilai yang hilang, model dengan prestasi yang lebih baik cenderung mempunyai persamaan perwakilan yang lebih rendah antara lapisan bawah dan atas, menunjukkan bahawa tugas ini memerlukan perwakilan hierarki, iaitu, keupayaan pengekstrakan ciri global yang lebih baik.

Terima kasih kepada operasi konvolusi dalam ruang 2D, TimesNet boleh mempelajari perwakilan yang sesuai mengikut tugas yang berbeza, seperti ramalan dan tugas pengesanan anomali, mempelajari perwakilan peringkat rendah dalam pengelasan dan tugas pengisian nilai yang hilang, ciri abstrak hierarki dipelajari. Ini seterusnya membuktikan generalisasi tugas TimesNet sebagai model asas.

Pada masa yang sama, analisis perwakilan di atas juga menyediakan idea reka bentuk untuk model mendalam untuk tugasan tertentu Contohnya, untuk tugasan ramalan, kita perlu menumpukan pada pengekstrakan asas yang halus. ciri berbutir, dan untuk mengisi tugasan, kita perlu melanjutkan Pembelajaran yang mengambil kira perwakilan global.

5 Ringkasan

Diinspirasikan oleh sifat berbilang tempoh siri masa, artikel ini mencadangkan model asas untuk analisis siri masa tugas-sejagat - TimesNet. Model ini secara inovatif melipat siri masa satu dimensi ke dalam ruang dua dimensi dan menggunakan lilitan 2D untuk mendapatkan ciri siri masa. Inovasi ini membolehkan tugasan analisis masa mendapat manfaat secara langsung daripada rangkaian tulang belakang visual yang berkembang pesat, yang sangat memberi inspirasi untuk penyelidikan seterusnya.

Pada masa yang sama, TimesNet telah mencapai kepimpinan menyeluruh dalam lima tugasan analisis siri masa arus perdana iaitu ramalan jangka panjang dan jangka pendek, pengisian nilai hilang, pengesanan anomali dan pengelasan, dan mempunyai nilai aplikasi yang sangat baik.

Atas ialah kandungan terperinci Analisis Masa Pentagon Warrior! Universiti Tsinghua mencadangkan TimesNet: terkemuka dalam ramalan, pengisian, pengelasan dan pengesanan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!