Artikel yang meringkaskan aplikasi Model Resapan dalam siri masa

Model penyebaran kini merupakan modul teras dalam AI generatif dan telah digunakan secara meluas dalam model AI generatif besar seperti Sora, DALL-E dan Imagen. Pada masa yang sama, model resapan semakin digunakan pada siri masa. Artikel ini memperkenalkan anda kepada idea asas model resapan, serta beberapa karya tipikal model resapan yang digunakan dalam siri masa, untuk membantu anda memahami prinsip aplikasi model resapan dalam siri masa.

1.Idea pemodelan model resapan

Inti model generatif adalah untuk dapat mengambil sampel titik daripada taburan mudah rawak dan memetakan titik ini kepada imej ruang sasaran melalui satu siri transformasi atau pada sampel. Perkara yang dilakukan oleh model resapan ialah untuk terus mengalih keluar hingar pada titik sampel sampel dan menjana data akhir melalui berbilang langkah penyingkiran hingar. Proses ini hampir sama dengan proses arca Bunyi yang disampel daripada taburan Gaussian adalah bahan mentah awal Proses mengeluarkan bunyi adalah proses mencacah bahagian yang berlebihan bahan ini.

Apa yang dinyatakan di atas adalah proses terbalik, iaitu, secara beransur-ansur mengeluarkan bunyi daripada bunyi untuk mendapatkan imej. Proses ini ialah proses berulang, yang memerlukan T kali denoising untuk mengeluarkan bunyi dari titik pensampelan asal sedikit demi sedikit. Dalam setiap langkah, hasil yang dijana oleh langkah sebelumnya ialah input, dan hingar perlu diramalkan, dan kemudian hingar ditolak daripada input untuk mendapatkan output langkah masa semasa.

Di sini anda perlu melatih modul (modul denoising) yang meramalkan bunyi langkah semasa Modul ini memasukkan langkah semasa t, serta input langkah semasa, dan meramalkan bunyi itu. Modul untuk meramal hingar ini dilakukan melalui proses ke hadapan, yang serupa dengan bahagian Pengekod dalam VAE. Dalam proses ke hadapan, imej adalah input, bunyi dibuat sampel pada setiap langkah, dan hingar ditambah pada imej asal untuk mendapatkan hasil yang dijana. Kemudian hasil yang dijana dan pembenaman langkah semasa t digunakan sebagai input untuk meramalkan bunyi yang dijana, dengan itu mencapai peranan melatih modul denoising.

2.Aplikasi Model Resapan dalam Siri Masa

TimeGrad: Model Resapan Denoising Autoregresif untuk Peramalan Siri Masa Kebarangkalian Pelbagai Variasi🜎🜎🜎 model gabungan untuk siri masa peramalan Salah satu kaedah. Berbeza daripada model resapan tradisional, TimeGrad memperkenalkan modul denoising berdasarkan model resapan asas dan menyediakan keadaan tersembunyi tambahan untuk setiap langkah masa. Keadaan tersembunyi ini diperoleh dengan mengekodkan jujukan sejarah dan pembolehubah luaran melalui model RNN, dan digunakan untuk membimbing model resapan untuk menjana jujukan. Logik keseluruhan ditunjukkan dalam rajah di bawah.

Dalam struktur rangkaian modul denoising, rangkaian neural convolutional digunakan terutamanya. Isyarat input dibahagikan kepada dua bahagian: bahagian pertama ialah urutan keluaran langkah sebelumnya, dan bahagian kedua ialah keluaran keadaan tersembunyi oleh RNN, hasil yang diperoleh selepas upsampling. Kedua-dua bahagian ini berbelit dan kemudian ditambah bersama untuk ramalan bunyi. . Seperti yang ditunjukkan dalam rajah di bawah, siri masa awal mempunyai nilai yang hilang Ia pertama kali diisi dengan hingar, dan kemudian model resapan digunakan untuk meramalkan bunyi secara beransur-ansur untuk mencapai denoising Selepas beberapa langkah, hasil pengisian akhirnya diperoleh.

Inti keseluruhan model juga ialah modul peresapan latihan model penyebaran. Terasnya adalah untuk melatih rangkaian ramalan hingar Setiap langkah memasukkan pembenaman langkah semasa, hasil pemerhatian sejarah dan output detik sebelumnya untuk meramalkan hasil hingar.

Transformer digunakan dalam struktur rangkaian, termasuk dua bahagian: Transformer dalam dimensi masa dan Transformer dalam dimensi berubah.

DSPD & CSPD: Memodelkan Data Temporal sebagai Fungsi Berterusan dengan Penyebaran Proses (2022)

Kaedah yang dicadangkan dalam artikel ini adalah tahap yang lebih tinggi daripada TimeGrad secara langsung memodelkan fungsi melalui dirinya sendiri model resapan. Diandaikan di sini bahawa setiap titik cerapan dijana daripada fungsi, dan kemudian taburan fungsi ini dimodelkan secara langsung dan bukannya memodelkan taburan titik data dalam siri masa. Oleh itu, artikel ini menukar hingar bebas yang ditambahkan dalam model resapan kepada hingar yang berubah mengikut masa dan melatih modul denoising dalam model resapan untuk menafikan fungsi.

TDSTF: Model probabilistik Resapan berasaskan Transformer untuk Ramalan siri Masa Jarang (2023)

Artikel ini menggunakan model resapan ICU. Teras artikel adalah pada satu tangan pemprosesan data siri masa perubatan yang jarang dan tidak teratur, menggunakan nilai, ciri, tiga kali ganda masa untuk mewakili setiap titik dalam urutan, dan menggunakan topeng untuk bahagian nilai sebenar. Sebaliknya adalah kaedah ramalan berdasarkan Transformer dan model resapan. Proses model resapan keseluruhan ditunjukkan dalam rajah Prinsip model penjanaan imej adalah serupa Model denoising dilatih berdasarkan siri masa sejarah, dan kemudian hingar dikurangkan secara beransur-ansur daripada jujukan hingar awal dalam perambatan ke hadapan.

Bahagian ramalan hingar khusus model resapan menggunakan struktur Transformer. Setiap titik masa terdiri daripada topeng dan triplet, yang merupakan input kepada Transformer dan digunakan sebagai modul denoising untuk meramalkan hingar. Struktur terperinci termasuk 3 lapisan Transformer Setiap Transformer termasuk 2 lapisan Pengekod dan 2 lapisan rangkaian Penyahkod.

Atas ialah kandungan terperinci Artikel yang meringkaskan aplikasi Model Resapan dalam siri masa. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!