cari
RumahPeranti teknologiAIPenyelesaian bijak untuk masalah 'kekurangan data'! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian saraf

Model ramalan spatiotemporal tradisional biasanya memerlukan sejumlah besar sokongan data untuk mencapai hasil yang baik.

Walau bagaimanapun, data spatiotemporal (seperti data trafik dan aliran orang ramai) di banyak kawasan adalah terhad disebabkan oleh perbezaan dalam tahap pembangunan bandar yang berbeza dan dasar pengumpulan data yang tidak konsisten. Oleh itu, kebolehpindahan model menjadi sangat penting apabila data adalah terhad.

Penyelidikan semasa bergantung terutamanya pada data dari bandar sumber untuk melatih model dan menggunakannya pada data dari bandar sasaran, tetapi pendekatan ini selalunya memerlukan reka bentuk padanan yang kompleks. Cara untuk mencapai pemindahan pengetahuan yang lebih luas antara bandar sumber dan sasaran kekal sebagai isu yang mencabar.

Baru-baru ini, model pra-latihan telah mencapai kemajuan yang ketara dalam bidang pemprosesan bahasa semula jadi dan penglihatan komputer. Pengenalan teknologi segera mengecilkan jurang antara penalaan halus dan pra-latihan, membolehkan model pra-latihan lanjutan menyesuaikan diri dengan tugas baharu dengan lebih cepat. Kelebihan kaedah ini ialah ia mengurangkan pergantungan pada penalaan halus yang membosankan dan meningkatkan kecekapan dan fleksibiliti model. Melalui teknologi segera, model boleh lebih memahami keperluan pengguna dan menghasilkan output yang lebih tepat, sekali gus memberikan pengalaman dan perkhidmatan yang lebih baik kepada orang ramai. Pendekatan inovatif ini memacu pembangunan teknologi kecerdasan buatan, membawa lebih banyak kemungkinan dan peluang kepada pelbagai industri.

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian sarafGambar

Pautan kertas: https://openreview.net/forum?id=QyFm3D3Tzi

Kod sumber terbuka dan data: https://www.php.cn/link/6644cb034d30b308d

Penerbitan terkini di ICLR2024 Hasil "Pembelajaran Sedikit Tangkapan Spatio-Temporal melalui Penjanaan Rangkaian Neural Diffusive" Pusat Penyelidikan Sains Bandar dan Pengkomputeran Jabatan Kejuruteraan Elektronik Universiti Tsinghua memperkenalkan model GPD (Generative Pre-Trained Diffusion) dan berjaya merealisasikan spatio- pembelajaran temporal dalam kajian senario data yang jarang.

Kaedah ini menggunakan parameter rangkaian neural generatif untuk mengubah pembelajaran data jarang spatiotemporal kepada masalah pra-latihan generatif model resapan. Tidak seperti kaedah tradisional, kaedah ini tidak lagi memerlukan pengekstrakan ciri yang boleh dipindah milik atau mereka bentuk strategi padanan corak yang kompleks, dan juga tidak perlu mempelajari permulaan model yang baik untuk senario beberapa pukulan.

Sebaliknya, kaedah ini mempelajari pengetahuan tentang pengoptimuman parameter rangkaian saraf dengan pra-latihan pada data daripada bandar sumber, dan kemudian menjana model rangkaian saraf yang sesuai untuk bandar sasaran berdasarkan gesaan.

Inovasi kaedah ini ialah ia boleh menjana rangkaian neural tersuai berdasarkan "prompt", secara berkesan menyesuaikan diri dengan perbezaan dalam pengedaran data dan ciri-ciri antara bandar yang berbeza, dan mencapai pemindahan pengetahuan spatio-temporal yang bijak.

Penyelidikan ini memberikan idea baharu untuk menyelesaikan masalah kekurangan data dalam pengkomputeran bandar. Data dan kod kertas adalah sumber terbuka.

Daripada pengedaran data kepada pengedaran parameter rangkaian saraf

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian sarafRajah 1: Pemindahan pengetahuan tahap corak data berbanding pemindahan pengetahuan peringkat rangkaian saraf

Seperti yang ditunjukkan dalam Rajah 1(a), kaedah pemindahan pengetahuan tradisional biasanya pada sumber Latih model pada data bandar dan kemudian gunakannya pada bandar sasaran. Walau bagaimanapun, mungkin terdapat perbezaan yang ketara dalam pengedaran data antara bandar yang berbeza, yang mengakibatkan penghijrahan langsung model bandar sumber yang mungkin tidak sesuai dengan pengedaran data bandar sasaran.

Oleh itu, kita perlu menyingkirkan pergantungan kita pada pengedaran data yang tidak kemas dan mencari cara perkongsian pengetahuan yang lebih penting dan boleh dipindahkan. Berbanding dengan pengedaran data, pengedaran parameter rangkaian saraf mempunyai lebih banyak ciri "perintah tinggi".

Rajah 1 menunjukkan proses transformasi daripada tahap corak data kepada pemindahan pengetahuan tahap rangkaian neural. Dengan melatih rangkaian saraf mengenai data dari bandar sumber dan menukarkannya kepada proses penjanaan parameter rangkaian saraf yang disesuaikan dengan bandar sasaran, pengedaran data dan ciri-ciri bandar sasaran boleh disesuaikan dengan lebih baik.

Pra-latihan + penalaan halus segera: mencapai pembelajaran beberapa pukulan spatio-temporal

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian sarafRajah 2 Gambaran keseluruhan model GPD

Seperti yang ditunjukkan dalam Rajah 2, GPD yang dicadangkan dalam rangka kerja ini adalah bersyarat dalam kajian ini. direka untuk menjana data secara langsung daripada bandar sumber Belajar daripada parameter model dan menjana parameter model baharu untuk bandar sasaran Kaedah ini merangkumi tiga peringkat utama:

1 Peringkat penyediaan rangkaian saraf: Pertama, untuk setiap kawasan bandar sumber, kajian melatih a model ramalan spatiotemporal yang berasingan, Dan simpan parameter rangkaian yang dioptimumkan. Parameter model untuk setiap rantau dioptimumkan secara bebas tanpa perkongsian parameter untuk memastikan model boleh menyesuaikan diri dengan ciri-ciri wilayah masing-masing.

2. Pra-latihan model resapan: Rangka kerja ini menggunakan parameter model pra-latihan yang dikumpul sebagai data latihan untuk melatih model resapan untuk mempelajari proses penjanaan parameter model. Model resapan menjana parameter melalui denoising berperingkat, satu proses yang serupa dengan proses pengoptimuman parameter bermula daripada pemulaan rawak, dan oleh itu lebih mampu menyesuaikan diri dengan pengedaran data bandar sasaran.

3. Penjanaan parameter rangkaian saraf: Selepas pra-latihan, parameter boleh dijana dengan menggunakan isyarat serantau bandar sasaran. Pendekatan ini memanfaatkan petunjuk untuk memudahkan pemindahan pengetahuan dan padanan parameter yang tepat, memanfaatkan sepenuhnya persamaan antara wilayah antara bandar.

Perlu diingat bahawa dalam rangka penalaan halus pra-latihan-kiu, pemilihan isyarat adalah sangat fleksibel, selagi ia dapat menangkap ciri-ciri wilayah tertentu. Sebagai contoh, pelbagai ciri statik seperti populasi, kawasan wilayah, fungsi dan pengedaran tempat menarik (POI) boleh digunakan untuk mencapai tujuan ini.

Kerja ini menggunakan isyarat serantau dari kedua-dua aspek spatial dan temporal: isyarat spatial datang daripada perwakilan nod dalam graf pengetahuan bandar [1,2], yang hanya menggunakan perhubungan seperti kedekatan wilayah dan persamaan fungsi, yang biasa di semua bandar dengan mudah boleh diakses; isyarat temporal datang daripada pengekod model pembelajaran yang diselia sendiri. Lihat artikel asal untuk mendapatkan butiran lanjut tentang reka bentuk segera.

Selain itu, kajian ini juga meneroka kaedah pengenalan kiu yang berbeza, dan eksperimen mengesahkan bahawa pengenalan kiu berdasarkan pengetahuan sedia ada mempunyai prestasi optimum: menggunakan isyarat spatial untuk membimbing penjanaan parameter rangkaian saraf untuk memodelkan korelasi spatial, dan menggunakan isyarat masa untuk panduan rangkaian neural temporal Penjanaan parameter rangkaian.

Hasil eksperimen

Pasukan menerangkan tetapan percubaan secara terperinci dalam kertas untuk membantu penyelidik lain menghasilkan semula keputusan mereka. Mereka juga menyediakan kertas asal dan kod data sumber terbuka, yang keputusan percubaannya kami fokuskan di sini.

Untuk menilai keberkesanan rangka kerja yang dicadangkan, kajian ini menjalankan eksperimen ke atas dua jenis tugas ramalan spatiotemporal klasik: ramalan aliran orang ramai dan ramalan kelajuan trafik, meliputi beberapa set data bandar.

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian sarafGambar

Jadual 1 menunjukkan hasil perbandingan terhadap kaedah garis dasar terkini pada empat set data. Berdasarkan keputusan ini, pemerhatian berikut boleh dibuat:

1) GPD menunjukkan kelebihan prestasi yang ketara berbanding model garis dasar dan secara konsisten mengatasi prestasi dalam senario data yang berbeza, yang menunjukkan bahawa GPD mencapai pemindahan pengetahuan yang berkesan pada tahap parameter rangkaian saraf.

2) GPD berprestasi baik dalam senario ramalan jangka panjang ini boleh dikaitkan dengan rangka kerja melombong pengetahuan yang lebih penting, yang membantu memindahkan pengetahuan corak spatiotemporal jangka panjang ke bandar sasaran.

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian sarafRajah 3 Perbandingan prestasi model ramalan spatiotemporal berbeza

Selain itu, kajian ini juga mengesahkan fleksibiliti rangka kerja GPD untuk menyesuaikan model ramalan spatiotemporal yang berbeza. Sebagai tambahan kepada kaedah graf spatiotemporal klasik STGCN, kajian ini juga memperkenalkan GWN dan STID sebagai model ramalan spatiotemporal dan menggunakan model resapan untuk menjana parameter rangkaiannya.

Hasil eksperimen menunjukkan bahawa keunggulan rangka kerja tidak akan terjejas oleh pemilihan model, jadi ia boleh disesuaikan dengan pelbagai model lanjutan.

Selanjutnya, kajian menjalankan analisis kes dengan memanipulasi persamaan corak pada dua set data sintetik.

Rajah 4 menunjukkan bahawa kawasan A dan B mempunyai corak siri masa yang sangat serupa, manakala wilayah C mempamerkan corak yang jauh berbeza. Manakala, Rajah 5 menunjukkan bahawa nod A dan B mempunyai kedudukan spatial simetri.

Oleh itu, kita boleh membuat kesimpulan bahawa kawasan A dan B mempunyai corak spatiotemporal yang hampir sama, sementara terdapat perbezaan yang jelas daripada C. Keputusan taburan parameter rangkaian saraf yang dijana oleh model menunjukkan bahawa taburan parameter A dan B adalah serupa, tetapi jauh berbeza daripada taburan parameter C. Ini seterusnya mengesahkan keupayaan rangka kerja GPD untuk menjana parameter rangkaian saraf dengan berkesan dengan corak spatiotemporal yang pelbagai. . / link/6644cb08d30b2ca55c284344a9750c2e

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian saraf[1] Liu, Yu, et al. "Urbankg: Sistem graf pengetahuan bandar." Zhilun , et al. "Pembelajaran graf pengetahuan hierarki membolehkan ramalan penunjuk sosioekonomi dalam rangkaian sosial berasaskan lokasi."

Atas ialah kandungan terperinci Penyelesaian bijak untuk masalah 'kekurangan data'! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian saraf. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Artikel ini dikembalikan pada:51CTO.COM. Jika ada pelanggaran, sila hubungi admin@php.cn Padam
Membaca Indeks AI 2025: Adakah AI rakan, musuh, atau juruterbang bersama?Membaca Indeks AI 2025: Adakah AI rakan, musuh, atau juruterbang bersama?Apr 11, 2025 pm 12:13 PM

Laporan Indeks Perisikan Buatan 2025 yang dikeluarkan oleh Stanford University Institute for Manusia Berorientasikan Kecerdasan Buatan memberikan gambaran yang baik tentang revolusi kecerdasan buatan yang berterusan. Mari kita menafsirkannya dalam empat konsep mudah: kognisi (memahami apa yang sedang berlaku), penghargaan (melihat faedah), penerimaan (cabaran muka), dan tanggungjawab (cari tanggungjawab kita). Kognisi: Kecerdasan buatan di mana -mana dan berkembang pesat Kita perlu menyedari betapa cepatnya kecerdasan buatan sedang berkembang dan menyebarkan. Sistem kecerdasan buatan sentiasa bertambah baik, mencapai hasil yang sangat baik dalam ujian matematik dan pemikiran kompleks, dan hanya setahun yang lalu mereka gagal dalam ujian ini. Bayangkan AI menyelesaikan masalah pengekodan kompleks atau masalah saintifik peringkat siswazah-sejak tahun 2023

Bermula dengan Meta Llama 3.2 - Analytics VidhyaBermula dengan Meta Llama 3.2 - Analytics VidhyaApr 11, 2025 pm 12:04 PM

Meta's Llama 3.2: Lompat ke hadapan dalam Multimodal dan Mobile AI META baru -baru ini melancarkan Llama 3.2, kemajuan yang ketara dalam AI yang memaparkan keupayaan penglihatan yang kuat dan model teks ringan yang dioptimumkan untuk peranti mudah alih. Membina kejayaan o

AV Bytes: Meta ' s llama 3.2, Google's Gemini 1.5, dan banyak lagiAV Bytes: Meta ' s llama 3.2, Google's Gemini 1.5, dan banyak lagiApr 11, 2025 pm 12:01 PM

Landskap AI minggu ini: Badai kemajuan, pertimbangan etika, dan perdebatan pengawalseliaan. Pemain utama seperti Openai, Google, Meta, dan Microsoft telah melepaskan kemas kini, dari model baru yang terobosan ke peralihan penting di LE

Kos manusia bercakap dengan mesin: Bolehkah chatbot benar -benar peduli?Kos manusia bercakap dengan mesin: Bolehkah chatbot benar -benar peduli?Apr 11, 2025 pm 12:00 PM

Ilusi yang menghiburkan sambungan: Adakah kita benar -benar berkembang dalam hubungan kita dengan AI? Soalan ini mencabar nada optimis Simposium MIT Media Lab "yang memajukan AI (AHA)". Manakala acara itu mempamerkan cutting-EDG

Memahami Perpustakaan Scipy di PythonMemahami Perpustakaan Scipy di PythonApr 11, 2025 am 11:57 AM

Pengenalan Bayangkan anda seorang saintis atau jurutera menangani masalah kompleks - persamaan pembezaan, cabaran pengoptimuman, atau analisis Fourier. Kemudahan penggunaan dan kemampuan grafik Python menarik, tetapi tugas -tugas ini menuntut alat yang berkuasa

3 Kaedah untuk menjalankan Llama 3.2 - Analytics Vidhya3 Kaedah untuk menjalankan Llama 3.2 - Analytics VidhyaApr 11, 2025 am 11:56 AM

Meta's Llama 3.2: Powerhouse AI Multimodal Model multimodal terbaru Meta, Llama 3.2, mewakili kemajuan yang ketara dalam AI, yang membanggakan pemahaman bahasa yang dipertingkatkan, ketepatan yang lebih baik, dan keupayaan penjanaan teks yang unggul. Keupayaannya t

Mengotomatisasi Pemeriksaan Kualiti Data dengan DagsterMengotomatisasi Pemeriksaan Kualiti Data dengan DagsterApr 11, 2025 am 11:44 AM

Jaminan Kualiti Data: Pemeriksaan Automatik dengan Dagster dan Harapan Hebat Mengekalkan kualiti data yang tinggi adalah penting untuk perniagaan yang didorong data. Apabila jumlah data dan sumber meningkat, kawalan kualiti manual menjadi tidak cekap dan terdedah kepada kesilapan.

Adakah kerangka utama mempunyai peranan dalam era AI?Adakah kerangka utama mempunyai peranan dalam era AI?Apr 11, 2025 am 11:42 AM

Main Frames: Wira Unsung Revolusi AI Walaupun pelayan cemerlang dalam aplikasi tujuan umum dan mengendalikan pelbagai pelanggan, kerangka utama dibina untuk tugas tinggi, misi kritikal. Sistem yang kuat ini sering dijumpai di Heavil

See all articles

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌

Alat panas

MantisBT

MantisBT

Mantis ialah alat pengesan kecacatan berasaskan web yang mudah digunakan yang direka untuk membantu dalam pengesanan kecacatan produk. Ia memerlukan PHP, MySQL dan pelayan web. Lihat perkhidmatan demo dan pengehosan kami.

Dreamweaver Mac版

Dreamweaver Mac版

Alat pembangunan web visual

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

Persekitaran pembangunan bersepadu PHP yang berkuasa

MinGW - GNU Minimalis untuk Windows

MinGW - GNU Minimalis untuk Windows

Projek ini dalam proses untuk dipindahkan ke osdn.net/projects/mingw, anda boleh terus mengikuti kami di sana. MinGW: Port Windows asli bagi GNU Compiler Collection (GCC), perpustakaan import yang boleh diedarkan secara bebas dan fail pengepala untuk membina aplikasi Windows asli termasuk sambungan kepada masa jalan MSVC untuk menyokong fungsi C99. Semua perisian MinGW boleh dijalankan pada platform Windows 64-bit.

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan