Bagaimana untuk menggunakan model besar NLP pada siri masa? Ringkasan lima kategori kaedah!

Baru-baru ini, University of California menerbitkan artikel ulasan yang meneroka kaedah menerapkan model bahasa besar yang telah terlatih dalam bidang pemprosesan bahasa semula jadi kepada ramalan siri masa. Artikel ini meringkaskan aplikasi 5 model besar NLP berbeza dalam medan siri masa. Seterusnya, kami akan memperkenalkan secara ringkas 5 kaedah yang disebutkan dalam ulasan ini.

Gambar

Tajuk kertas: Model Bahasa Besar untuk Siri Masa: Satu Tinjauan

Alamat muat turun: https://arxiv.org/pdf/2402.01801.pdf

berdasarkan P Kaedah Gesaan

Dengan terus menggunakan kaedah gesaan, model boleh meramalkan output untuk data siri masa. Dalam kaedah gesaan sebelumnya, idea asas adalah untuk melatih teks gesaan, mengisinya dengan data siri masa dan membiarkan model menjana hasil ramalan. Sebagai contoh, apabila membina teks yang menerangkan tugasan siri masa, isikan data siri masa dan biarkan model secara langsung mengeluarkan hasil ramalan.

Gambar

Apabila memproses siri masa, nombor sering dianggap sebagai sebahagian daripada teks, dan isu nombor token juga telah menarik perhatian ramai. Sesetengah kaedah secara khusus menambah ruang antara nombor untuk membezakan nombor dengan lebih jelas dan mengelakkan perbezaan yang tidak munasabah antara nombor dalam kamus.

2. Diskretisasi

Kaedah jenis ini mendiskrisikan siri masa dan menukar nilai berterusan kepada hasil id diskret untuk menyesuaikan diri dengan bentuk input model NLP yang besar. Sebagai contoh, satu pendekatan adalah untuk memetakan siri masa ke dalam perwakilan diskret dengan bantuan teknologi Vector Quantized-Variational AutoEncoder (VQ-VAE). VQ-VAE ialah struktur pengekod automatik berdasarkan VAE memetakan input asal ke dalam vektor perwakilan melalui Pengekod, dan kemudian memulihkan data asal melalui Penyahkod. VQ-VAE memastikan bahawa vektor perwakilan terjana perantaraan didiskrisikan. Kamus dibina berdasarkan vektor perwakilan diskret ini untuk melaksanakan pemetaan diskret data siri masa. Kaedah lain adalah berdasarkan pendiskretan K-means, menggunakan centroid yang dihasilkan oleh Kmeans untuk mendiskrisikan siri masa asal. Di samping itu, dalam sesetengah kerja, siri masa juga ditukar terus kepada teks Contohnya, dalam beberapa senario kewangan, kenaikan harga harian, penurunan harga dan maklumat lain ditukar terus kepada simbol huruf yang sepadan sebagai input kepada model NLP yang besar.

Gambar

3. Penjajaran siri masa-teks

Kaedah jenis ini bergantung pada teknologi penjajaran dalam medan berbilang modal untuk menyelaraskan perwakilan siri masa ke dalam ruang teks, dengan itu membenarkan data siri masa untuk terus input ke dalam sasaran model Besar NLP.

Dalam kaedah jenis ini, beberapa kaedah penjajaran pelbagai modal digunakan secara meluas. Yang paling tipikal ialah penjajaran pelbagai mod berdasarkan pembelajaran kontras Sama seperti CLIP, pengekod siri masa dan model besar digunakan untuk memasukkan vektor perwakilan siri masa dan teks, dan kemudian pembelajaran kontras digunakan untuk memendekkan jarak. antara pasangan sampel positif Menyelaraskan perwakilan siri masa dan data teks dalam ruang terpendam.

Kaedah lain ialah finetune berdasarkan data siri masa, menggunakan model NLP besar sebagai tulang belakang, dan memperkenalkan data siri masa penyesuaian rangkaian tambahan atas dasar ini. Antaranya, kaedah finetune silang mod yang cekap seperti LoRA adalah agak biasa. Mereka membekukan kebanyakan parameter tulang belakang dan finetune hanya sebilangan kecil parameter, atau memperkenalkan sebilangan kecil parameter penyesuai untuk finetune untuk mencapai penjajaran berbilang modal.

Gambar

4. Memperkenalkan maklumat visual

Kaedah ini biasanya jarang mewujudkan hubungan antara siri masa dan maklumat visual, dan kemudian memperkenalkan keupayaan pelbagai mod yang telah dikaji secara mendalam menggunakan imej dan teks. . , untuk mengekstrak ciri yang berkesan untuk tugas hiliran. Contohnya, ImageBind menjajarkan data 6 modaliti secara seragam, termasuk data jenis siri masa, untuk mencapai penyatuan model berbilang modal yang besar. Sesetengah model dalam bidang kewangan menukar harga saham kepada data carta, dan kemudian menggunakan CLIP untuk menjajarkan imej dan teks untuk menjana ciri berkaitan carta untuk tugasan siri masa hiliran.

5. Alat model besar

Kaedah jenis ini tidak lagi menambah baik model besar NLP, atau mengubah bentuk data siri masa untuk penyesuaian model besar, tetapi secara langsung menggunakan model besar NLP sebagai alat untuk menyelesaikan masalah siri masa. Contohnya, biarkan model besar menjana kod untuk menyelesaikan ramalan siri masa dan gunakannya pada ramalan siri masa atau biarkan model besar memanggil API sumber terbuka untuk menyelesaikan masalah siri masa. Sudah tentu, kaedah ini lebih berat sebelah terhadap aplikasi praktikal.

Akhir sekali, artikel itu meringkaskan kerja perwakilan dan set data perwakilan pelbagai kaedah:

Gambar

Gambar

🎜

Atas ialah kandungan terperinci Bagaimana untuk menggunakan model besar NLP pada siri masa? Ringkasan lima kategori kaedah!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!