Transformer dilawati semula: penyongsangan lebih berkesan, SOTA baharu untuk ramalan dunia sebenar muncul

Dalam peramalan siri masa, Transformer telah menunjukkan keupayaan hebatnya untuk menerangkan kebergantungan dan mengekstrak perwakilan berbilang peringkat. Walau bagaimanapun, beberapa penyelidik telah mempersoalkan keberkesanan peramal berasaskan Transformer. Peramal sedemikian biasanya membenamkan berbilang pembolehubah cap masa yang sama ke dalam saluran yang tidak dapat dibezakan dan menumpukan pada cap masa ini untuk menangkap kebergantungan temporal. Para penyelidik mendapati bahawa lapisan linear mudah yang menganggap hubungan berangka dan bukannya hubungan semantik mengatasi Transformer kompleks dalam kedua-dua prestasi dan kecekapan. Pada masa yang sama, kepentingan memastikan kebebasan pembolehubah dan mengeksploitasi maklumat bersama telah mendapat perhatian yang semakin meningkat daripada penyelidikan terkini. Kajian ini secara eksplisit memodelkan korelasi multivariate untuk mencapai ramalan yang tepat. Walau bagaimanapun, masih sukar untuk mencapai matlamat ini tanpa menjejaskan seni bina Transformer biasa

Memandangkan kontroversi yang disebabkan oleh peramal berasaskan Transformer, penyelidik memikirkan mengapa Transformer digunakan dalam ramalan siri masa Prestasinya tidak sehebat model linear dalam banyak bidang lain, tetapi ia mendominasi dalam banyak bidang lain

Baru-baru ini, kertas kerja baharu dari Universiti Tsinghua mencadangkan perspektif yang berbeza - prestasi Transformer tidak wujud, tetapi disebabkan oleh Disebabkan oleh penggunaan skema yang tidak betul untuk data siri masa.

Pautan ke kertas itu ialah: https://arxiv.org/pdf/2310.06625.pdf

Struktur sedia ada bagi peramal berasaskan Transformer mungkin tidak sesuai untuk ramalan siri masa berbilang variasi. Bahagian kiri Rajah 2 menunjukkan bahawa titik pada langkah yang sama mewakili makna fizikal yang berbeza, tetapi keputusan pengukuran tidak konsisten. Titik ini dibenamkan ke dalam token, dan korelasi multivariat diabaikan. Tambahan pula, dalam dunia nyata, langkah masa individu jarang dilabelkan dengan maklumat yang berguna kerana salah penjajaran medan penerimaan tempatan dan cap masa pada titik masa berbilang variasi. Di samping itu, walaupun variasi jujukan dipengaruhi dengan ketara oleh susunan jujukan, mekanisme perhatian varian dalam dimensi temporal belum diterima pakai sepenuhnya. Oleh itu, keupayaan Transformer untuk menangkap perwakilan jujukan asas dan menerangkan korelasi multivariate menjadi lemah, mengehadkan keupayaan dan keupayaan generalisasi pada data siri masa yang berbeza

Berkenaan menukar berbilang pembolehubah pada setiap langkah masa Untuk menunjukkan ketidakrasionalan pembenaman token (masa), penyelidik bermula dari perspektif terbalik siri masa dan membenamkan keseluruhan siri masa setiap pembolehubah ke dalam token (pembolehubah) secara bebas Ini adalah kes tampalan yang melampau untuk mengembangkan medan penerimaan tempatan. Melalui penyongsangan, token terbenam mengagregatkan perwakilan global bagi jujukan, yang boleh menjadi lebih berpusatkan pembolehubah dan lebih baik menggunakan mekanisme perhatian untuk perkaitan berbilang pembolehubah. Pada masa yang sama, rangkaian suapan ke hadapan dengan mahir boleh mempelajari perwakilan umum pembolehubah berbeza yang dikodkan oleh sebarang jujukan lihat kembali dan menyahkodnya untuk meramal jujukan masa hadapan.

Para penyelidik menegaskan bahawa untuk ramalan siri masa, Transformer tidak sah, tetapi penggunaannya tidak sesuai. Dalam makalah ini, penyelidik mengkaji semula struktur Transformer dan mengesyorkan iTransformer sebagai tonggak asas ramalan siri masa. Mereka membenamkan setiap siri masa sebagai token pembolehubah, menggunakan mekanisme perhatian korelasi berbilang pembolehubah dan menggunakan rangkaian suapan ke hadapan untuk mengekod jujukan. Keputusan eksperimen menunjukkan bahawa iTransformer yang dicadangkan mencapai tahap terkini dalam penanda aras ramalan sebenar Rajah 1 dan secara tidak dijangka menyelesaikan masalah yang dihadapi oleh peramal berasaskan Transformer

Kesimpulannya, kertas ini. sumbangan adalah seperti berikut:

• Pengkaji membuat refleksi tentang seni bina Transformer dan mendapati bahawa keupayaan komponen Transformer asli dalam siri masa belum dibangunkan sepenuhnya.
• ITransformer yang dicadangkan dalam artikel ini menganggap siri masa bebas sebagai token, menangkap korelasi berbilang pembolehubah melalui perhatian kendiri dan menggunakan modul rangkaian normalisasi lapisan dan suapan untuk mempelajari jujukan perwakilan global yang lebih baik untuk ramalan siri masa.
• Melalui percubaan, iTransformer mencapai SOTA pada penanda aras ramalan dunia sebenar. Para penyelidik menganalisis modul penyongsangan dan pilihan seni bina, menunjukkan arah untuk penambahbaikan masa depan peramal berasaskan Transformer.

iTransformer

Dalam peramalan siri masa multivariate, diberi pemerhatian sejarah:

Menggunakan langkah masa T dan pembolehubah N, penyelidik meramalkan langkah masa S pada masa hadapan: . Untuk kemudahan, nyatakan sebagai ialah pembolehubah multivariat yang direkodkan serentak pada langkah masa t, dan ialah keseluruhan siri masa yang diindeks oleh n untuk setiap pembolehubah. Perlu diingat bahawa dalam dunia sebenar, disebabkan kependaman sistem monitor dan set data yang tidak teratur, mungkin tidak mengandungi titik masa dengan cap masa yang sama. Elemen

boleh berbeza antara satu sama lain dalam pengukuran fizikal dan taburan statistik, dan pembolehubah sering berkongsi data ini.

Varian Transformer yang dilengkapi dengan seni bina yang dicadangkan dalam artikel ini, dipanggil iTransformer, pada asasnya tidak mengemukakan keperluan yang lebih khusus untuk varian Transformer, kecuali mekanisme perhatian harus sesuai untuk pemodelan korelasi multivariate. Oleh itu, satu set mekanisme perhatian yang berkesan boleh berfungsi sebagai pemalam untuk mengurangkan kerumitan perkaitan apabila bilangan pembolehubah meningkat.

iTransformer ditunjukkan dalam gambar keempat, menggunakan seni bina pengekod Transformer yang lebih ringkas, yang termasuk pembenaman, unjuran dan blok Transformer

Eksperimen dan keputusan Transformer yang komprehensif

telah menggunakan iResearcher yang komprehensif

telah dijalankan dalam pelbagai aplikasi ramalan siri masa, mengesahkan fleksibiliti rangka kerja, dan seterusnya mengkaji kesan penyongsangan tanggungjawab komponen Transformer untuk dimensi siri masa tertentu

Para penyelidik secara meluas memasukkan 6 data kehidupan sebenar dalam eksperimen Set data dunia, termasuk ETT, cuaca, elektrik, set data trafik, set data tenaga suria dan set data PEMS. Untuk maklumat set data terperinci, sila rujuk teks asal

Kandungan yang ditulis semula ialah: Keputusan ramalan

ditunjukkan dalam Jadual 1, dengan merah menunjukkan optimum dan garis bawah menunjukkan optimum. Semakin rendah MSE/MAE, kandungan yang ditulis semula ialah: semakin tepat hasil ramalan. iTransformer yang dicadangkan dalam artikel ini mencapai prestasi SOTA. Komponen Transformer asli mampu memodelkan masa dan korelasi multivariat, dan seni bina songsang yang dicadangkan boleh menyelesaikan senario ramalan siri masa dunia sebenar dengan berkesan.

Apa yang perlu ditulis semula ialah: Kesejagatan iTransformer

Penyelidik yang menggunakan rangka kerja ini pada Transformer dan varian sekundernya selalunya untuk menilai masalah kompleks iTransformer ini. -mekanisme perhatian, termasuk Reformer, Informer, Flowformer dan FlashAttention. Para penyelidik juga mendapati bahawa hanya menyongsangkan perspektif boleh meningkatkan prestasi peramal berasaskan Transformer, meningkatkan kecekapan, membuat generalisasi kepada pembolehubah yang tidak kelihatan dan menggunakan lebih baik data pemerhatian sejarah

Jadual 2 menunjukkan Transformers dan iTransformers Evaluate yang sepadan. Perlu diingat bahawa rangka kerja itu terus menambah baik pelbagai Transformer. Secara keseluruhan, Transformers bertambah baik dengan purata 38.9%, Reformers dengan purata 36.1%, Informers dengan purata 28.5%, Flowformers dengan purata 16.8%, dan Flashformers dengan purata 32.2%.

🎜

Faktor lain ialah iTransformer boleh digunakan secara meluas dalam peramal berasaskan Transformer, kerana ia mengguna pakai struktur terbalik mekanisme perhatian dalam dimensi pembolehubah, memperkenalkan perhatian yang cekap dengan kerumitan linear, dan secara asasnya menyelesaikan isu Kecekapan disebabkan oleh 6 pembolehubah. Masalah ini biasa berlaku dalam aplikasi dunia nyata, tetapi boleh memakan sumber untuk Channel Independent

Untuk menguji hipotesis, penyelidik membandingkan iTransformer dengan strategi generalisasi lain: Channel Independent memaksa Gunakan Transformer dikongsi untuk mempelajari corak untuk semua varian. Seperti yang ditunjukkan dalam Rajah 5, ralat generalisasi Channel Independent (CI-Transformers) boleh meningkat dengan ketara, manakala peningkatan dalam ralat ramalan iTransformer adalah jauh lebih kecil.

Memandangkan tanggungjawab perhatian dan rangkaian suapan disongsangkan, prestasi Transformers dan iTransformer apabila panjang lihat kembali dinilai dalam Rajah 6. Ia mengesahkan rasionaliti memanfaatkan MLP dalam dimensi temporal, iaitu Transformers boleh mendapat manfaat daripada tetingkap lihat belakang yang dilanjutkan, menghasilkan ramalan yang lebih tepat.

Analisis Model

Untuk mengesahkan rasional komponen Transformer, para penyelidik menjalankan eksperimen ablasi terperinci, termasuk eksperimen penggantian komponen (Ganti) dan penyingkiran komponen (w.w). Jadual 3 menyenaraikan keputusan eksperimen.

Untuk butiran lanjut, sila rujuk artikel asal.

Atas ialah kandungan terperinci Transformer dilawati semula: penyongsangan lebih berkesan, SOTA baharu untuk ramalan dunia sebenar muncul. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!