cari
RumahPeranti teknologiAIPenyelesaian bijak untuk masalah 'kekurangan data'! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian saraf

Model ramalan spatiotemporal tradisional biasanya memerlukan sejumlah besar sokongan data untuk mencapai hasil yang baik.

Walau bagaimanapun, data spatiotemporal (seperti data trafik dan aliran orang ramai) di banyak kawasan adalah terhad disebabkan oleh perbezaan dalam tahap pembangunan bandar yang berbeza dan dasar pengumpulan data yang tidak konsisten. Oleh itu, kebolehpindahan model menjadi sangat penting apabila data adalah terhad.

Penyelidikan semasa bergantung terutamanya pada data dari bandar sumber untuk melatih model dan menggunakannya pada data dari bandar sasaran, tetapi pendekatan ini selalunya memerlukan reka bentuk padanan yang kompleks. Cara untuk mencapai pemindahan pengetahuan yang lebih luas antara bandar sumber dan sasaran kekal sebagai isu yang mencabar.

Baru-baru ini, model pra-latihan telah mencapai kemajuan yang ketara dalam bidang pemprosesan bahasa semula jadi dan penglihatan komputer. Pengenalan teknologi segera mengecilkan jurang antara penalaan halus dan pra-latihan, membolehkan model pra-latihan lanjutan menyesuaikan diri dengan tugas baharu dengan lebih cepat. Kelebihan kaedah ini ialah ia mengurangkan pergantungan pada penalaan halus yang membosankan dan meningkatkan kecekapan dan fleksibiliti model. Melalui teknologi segera, model boleh lebih memahami keperluan pengguna dan menghasilkan output yang lebih tepat, sekali gus memberikan pengalaman dan perkhidmatan yang lebih baik kepada orang ramai. Pendekatan inovatif ini memacu pembangunan teknologi kecerdasan buatan, membawa lebih banyak kemungkinan dan peluang kepada pelbagai industri.

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian sarafGambar

Pautan kertas: https://openreview.net/forum?id=QyFm3D3Tzi

Kod sumber terbuka dan data: https://www.php.cn/link/6644cb034d30b308d

Penerbitan terkini di ICLR2024 Hasil "Pembelajaran Sedikit Tangkapan Spatio-Temporal melalui Penjanaan Rangkaian Neural Diffusive" Pusat Penyelidikan Sains Bandar dan Pengkomputeran Jabatan Kejuruteraan Elektronik Universiti Tsinghua memperkenalkan model GPD (Generative Pre-Trained Diffusion) dan berjaya merealisasikan spatio- pembelajaran temporal dalam kajian senario data yang jarang.

Kaedah ini menggunakan parameter rangkaian neural generatif untuk mengubah pembelajaran data jarang spatiotemporal kepada masalah pra-latihan generatif model resapan. Tidak seperti kaedah tradisional, kaedah ini tidak lagi memerlukan pengekstrakan ciri yang boleh dipindah milik atau mereka bentuk strategi padanan corak yang kompleks, dan juga tidak perlu mempelajari permulaan model yang baik untuk senario beberapa pukulan.

Sebaliknya, kaedah ini mempelajari pengetahuan tentang pengoptimuman parameter rangkaian saraf dengan pra-latihan pada data daripada bandar sumber, dan kemudian menjana model rangkaian saraf yang sesuai untuk bandar sasaran berdasarkan gesaan.

Inovasi kaedah ini ialah ia boleh menjana rangkaian neural tersuai berdasarkan "prompt", secara berkesan menyesuaikan diri dengan perbezaan dalam pengedaran data dan ciri-ciri antara bandar yang berbeza, dan mencapai pemindahan pengetahuan spatio-temporal yang bijak.

Penyelidikan ini memberikan idea baharu untuk menyelesaikan masalah kekurangan data dalam pengkomputeran bandar. Data dan kod kertas adalah sumber terbuka.

Daripada pengedaran data kepada pengedaran parameter rangkaian saraf

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian sarafRajah 1: Pemindahan pengetahuan tahap corak data berbanding pemindahan pengetahuan peringkat rangkaian saraf

Seperti yang ditunjukkan dalam Rajah 1(a), kaedah pemindahan pengetahuan tradisional biasanya pada sumber Latih model pada data bandar dan kemudian gunakannya pada bandar sasaran. Walau bagaimanapun, mungkin terdapat perbezaan yang ketara dalam pengedaran data antara bandar yang berbeza, yang mengakibatkan penghijrahan langsung model bandar sumber yang mungkin tidak sesuai dengan pengedaran data bandar sasaran.

Oleh itu, kita perlu menyingkirkan pergantungan kita pada pengedaran data yang tidak kemas dan mencari cara perkongsian pengetahuan yang lebih penting dan boleh dipindahkan. Berbanding dengan pengedaran data, pengedaran parameter rangkaian saraf mempunyai lebih banyak ciri "perintah tinggi".

Rajah 1 menunjukkan proses transformasi daripada tahap corak data kepada pemindahan pengetahuan tahap rangkaian neural. Dengan melatih rangkaian saraf mengenai data dari bandar sumber dan menukarkannya kepada proses penjanaan parameter rangkaian saraf yang disesuaikan dengan bandar sasaran, pengedaran data dan ciri-ciri bandar sasaran boleh disesuaikan dengan lebih baik.

Pra-latihan + penalaan halus segera: mencapai pembelajaran beberapa pukulan spatio-temporal

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian sarafRajah 2 Gambaran keseluruhan model GPD

Seperti yang ditunjukkan dalam Rajah 2, GPD yang dicadangkan dalam rangka kerja ini adalah bersyarat dalam kajian ini. direka untuk menjana data secara langsung daripada bandar sumber Belajar daripada parameter model dan menjana parameter model baharu untuk bandar sasaran Kaedah ini merangkumi tiga peringkat utama:

1 Peringkat penyediaan rangkaian saraf: Pertama, untuk setiap kawasan bandar sumber, kajian melatih a model ramalan spatiotemporal yang berasingan, Dan simpan parameter rangkaian yang dioptimumkan. Parameter model untuk setiap rantau dioptimumkan secara bebas tanpa perkongsian parameter untuk memastikan model boleh menyesuaikan diri dengan ciri-ciri wilayah masing-masing.

2. Pra-latihan model resapan: Rangka kerja ini menggunakan parameter model pra-latihan yang dikumpul sebagai data latihan untuk melatih model resapan untuk mempelajari proses penjanaan parameter model. Model resapan menjana parameter melalui denoising berperingkat, satu proses yang serupa dengan proses pengoptimuman parameter bermula daripada pemulaan rawak, dan oleh itu lebih mampu menyesuaikan diri dengan pengedaran data bandar sasaran.

3. Penjanaan parameter rangkaian saraf: Selepas pra-latihan, parameter boleh dijana dengan menggunakan isyarat serantau bandar sasaran. Pendekatan ini memanfaatkan petunjuk untuk memudahkan pemindahan pengetahuan dan padanan parameter yang tepat, memanfaatkan sepenuhnya persamaan antara wilayah antara bandar.

Perlu diingat bahawa dalam rangka penalaan halus pra-latihan-kiu, pemilihan isyarat adalah sangat fleksibel, selagi ia dapat menangkap ciri-ciri wilayah tertentu. Sebagai contoh, pelbagai ciri statik seperti populasi, kawasan wilayah, fungsi dan pengedaran tempat menarik (POI) boleh digunakan untuk mencapai tujuan ini.

Kerja ini menggunakan isyarat serantau dari kedua-dua aspek spatial dan temporal: isyarat spatial datang daripada perwakilan nod dalam graf pengetahuan bandar [1,2], yang hanya menggunakan perhubungan seperti kedekatan wilayah dan persamaan fungsi, yang biasa di semua bandar dengan mudah boleh diakses; isyarat temporal datang daripada pengekod model pembelajaran yang diselia sendiri. Lihat artikel asal untuk mendapatkan butiran lanjut tentang reka bentuk segera.

Selain itu, kajian ini juga meneroka kaedah pengenalan kiu yang berbeza, dan eksperimen mengesahkan bahawa pengenalan kiu berdasarkan pengetahuan sedia ada mempunyai prestasi optimum: menggunakan isyarat spatial untuk membimbing penjanaan parameter rangkaian saraf untuk memodelkan korelasi spatial, dan menggunakan isyarat masa untuk panduan rangkaian neural temporal Penjanaan parameter rangkaian.

Hasil eksperimen

Pasukan menerangkan tetapan percubaan secara terperinci dalam kertas untuk membantu penyelidik lain menghasilkan semula keputusan mereka. Mereka juga menyediakan kertas asal dan kod data sumber terbuka, yang keputusan percubaannya kami fokuskan di sini.

Untuk menilai keberkesanan rangka kerja yang dicadangkan, kajian ini menjalankan eksperimen ke atas dua jenis tugas ramalan spatiotemporal klasik: ramalan aliran orang ramai dan ramalan kelajuan trafik, meliputi beberapa set data bandar.

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian sarafGambar

Jadual 1 menunjukkan hasil perbandingan terhadap kaedah garis dasar terkini pada empat set data. Berdasarkan keputusan ini, pemerhatian berikut boleh dibuat:

1) GPD menunjukkan kelebihan prestasi yang ketara berbanding model garis dasar dan secara konsisten mengatasi prestasi dalam senario data yang berbeza, yang menunjukkan bahawa GPD mencapai pemindahan pengetahuan yang berkesan pada tahap parameter rangkaian saraf.

2) GPD berprestasi baik dalam senario ramalan jangka panjang ini boleh dikaitkan dengan rangka kerja melombong pengetahuan yang lebih penting, yang membantu memindahkan pengetahuan corak spatiotemporal jangka panjang ke bandar sasaran.

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian sarafRajah 3 Perbandingan prestasi model ramalan spatiotemporal berbeza

Selain itu, kajian ini juga mengesahkan fleksibiliti rangka kerja GPD untuk menyesuaikan model ramalan spatiotemporal yang berbeza. Sebagai tambahan kepada kaedah graf spatiotemporal klasik STGCN, kajian ini juga memperkenalkan GWN dan STID sebagai model ramalan spatiotemporal dan menggunakan model resapan untuk menjana parameter rangkaiannya.

Hasil eksperimen menunjukkan bahawa keunggulan rangka kerja tidak akan terjejas oleh pemilihan model, jadi ia boleh disesuaikan dengan pelbagai model lanjutan.

Selanjutnya, kajian menjalankan analisis kes dengan memanipulasi persamaan corak pada dua set data sintetik.

Rajah 4 menunjukkan bahawa kawasan A dan B mempunyai corak siri masa yang sangat serupa, manakala wilayah C mempamerkan corak yang jauh berbeza. Manakala, Rajah 5 menunjukkan bahawa nod A dan B mempunyai kedudukan spatial simetri.

Oleh itu, kita boleh membuat kesimpulan bahawa kawasan A dan B mempunyai corak spatiotemporal yang hampir sama, sementara terdapat perbezaan yang jelas daripada C. Keputusan taburan parameter rangkaian saraf yang dijana oleh model menunjukkan bahawa taburan parameter A dan B adalah serupa, tetapi jauh berbeza daripada taburan parameter C. Ini seterusnya mengesahkan keupayaan rangka kerja GPD untuk menjana parameter rangkaian saraf dengan berkesan dengan corak spatiotemporal yang pelbagai. . / link/6644cb08d30b2ca55c284344a9750c2e

Penyelesaian bijak untuk masalah kekurangan data! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian saraf[1] Liu, Yu, et al. "Urbankg: Sistem graf pengetahuan bandar." Zhilun , et al. "Pembelajaran graf pengetahuan hierarki membolehkan ramalan penunjuk sosioekonomi dalam rangkaian sosial berasaskan lokasi."

Atas ialah kandungan terperinci Penyelesaian bijak untuk masalah 'kekurangan data'! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian saraf. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Artikel ini dikembalikan pada:51CTO.COM. Jika ada pelanggaran, sila hubungi admin@php.cn Padam
Jurang kemahiran AI memperlahankan rantaian bekalanJurang kemahiran AI memperlahankan rantaian bekalanApr 26, 2025 am 11:13 AM

Istilah "tenaga kerja siap sedia" sering digunakan, tetapi apakah maksudnya dalam industri rantaian bekalan? Menurut Abe Eshkenazi, Ketua Pegawai Eksekutif Persatuan Pengurusan Rantaian Bekalan (ASCM), ia menandakan profesional yang mampu mengkritik

Bagaimana satu syarikat secara senyap -senyap bekerja untuk mengubah AI selama -lamanyaBagaimana satu syarikat secara senyap -senyap bekerja untuk mengubah AI selama -lamanyaApr 26, 2025 am 11:12 AM

Revolusi AI yang terdesentralisasi secara senyap -senyap mendapat momentum. Jumaat ini di Austin, Texas, Sidang Kemuncak Endgame Bittensor menandakan momen penting, beralih ke desentralisasi AI (DEAI) dari teori kepada aplikasi praktikal. Tidak seperti iklan mewah

NVIDIA Melepaskan Microservices Nemo Untuk Menyebarkan Pembangunan Agen AINVIDIA Melepaskan Microservices Nemo Untuk Menyebarkan Pembangunan Agen AIApr 26, 2025 am 11:11 AM

Perusahaan AI menghadapi cabaran integrasi data Penggunaan perusahaan AI menghadapi cabaran utama: sistem bangunan yang dapat mengekalkan ketepatan dan kepraktisan dengan terus belajar data perniagaan. Microservices NEMO menyelesaikan masalah ini dengan mewujudkan apa yang NVIDIA menggambarkan sebagai "Flywheel Data", yang membolehkan sistem AI tetap relevan melalui pendedahan berterusan kepada maklumat perusahaan dan interaksi pengguna. Toolkit yang baru dilancarkan ini mengandungi lima microservices utama: Nemo Customizer mengendalikan penalaan model bahasa yang besar dengan latihan yang lebih tinggi. NEMO Evaluator menyediakan penilaian ringkas model AI untuk tanda aras tersuai. Nemo Guardrails Melaksanakan Kawalan Keselamatan untuk mengekalkan pematuhan dan kesesuaian

AI melukis gambar baru untuk masa depan seni dan reka bentukAI melukis gambar baru untuk masa depan seni dan reka bentukApr 26, 2025 am 11:10 AM

AI: Masa Depan Seni dan Reka Bentuk Kecerdasan Buatan (AI) mengubah bidang seni dan reka bentuk dengan cara yang belum pernah terjadi sebelumnya, dan impaknya tidak lagi terhad kepada amatur, tetapi lebih mempengaruhi profesional. Skim karya seni dan reka bentuk yang dihasilkan oleh AI dengan cepat menggantikan imej dan pereka bahan tradisional dalam banyak aktiviti reka bentuk transaksional seperti pengiklanan, generasi imej media sosial dan reka bentuk web. Walau bagaimanapun, artis dan pereka profesional juga mendapati nilai praktikal AI. Mereka menggunakan AI sebagai alat tambahan untuk meneroka kemungkinan estetik baru, menggabungkan gaya yang berbeza, dan membuat kesan visual baru. AI membantu artis dan pereka mengautomasikan tugas berulang, mencadangkan elemen reka bentuk yang berbeza dan memberikan input kreatif. AI menyokong pemindahan gaya, iaitu menggunakan gaya gambar

Bagaimana Zoom merevolusikan kerja dengan Agentic AI: Dari mesyuarat ke tonggakBagaimana Zoom merevolusikan kerja dengan Agentic AI: Dari mesyuarat ke tonggakApr 26, 2025 am 11:09 AM

Zoom, yang pada mulanya dikenali untuk platform persidangan video, memimpin revolusi tempat kerja dengan penggunaan inovatif AIS AI. Perbualan baru -baru ini dengan CTO Zoom, XD Huang, mendedahkan penglihatan yang bercita -cita tinggi syarikat itu. Menentukan Agentic AI Huang d

Ancaman eksistensi ke universitiAncaman eksistensi ke universitiApr 26, 2025 am 11:08 AM

Adakah AI akan merevolusikan pendidikan? Soalan ini mendorong refleksi serius di kalangan pendidik dan pihak berkepentingan. Penyepaduan AI ke dalam pendidikan memberikan peluang dan cabaran. Sebagai Matthew Lynch dari Nota Edvocate Tech, Universit

Prototaip: saintis Amerika mencari pekerjaan di luar negaraPrototaip: saintis Amerika mencari pekerjaan di luar negaraApr 26, 2025 am 11:07 AM

Pembangunan penyelidikan dan teknologi saintifik di Amerika Syarikat mungkin menghadapi cabaran, mungkin disebabkan oleh pemotongan anggaran. Menurut Alam, bilangan saintis Amerika yang memohon pekerjaan di luar negara meningkat sebanyak 32% dari Januari hingga Mac 2025 berbanding dengan tempoh yang sama pada tahun 2024. Pungutan sebelumnya menunjukkan bahawa 75% penyelidik yang ditinjau sedang mempertimbangkan untuk mencari pekerjaan di Eropah dan Kanada. Beratus-ratus geran NIH dan NSF telah ditamatkan dalam beberapa bulan yang lalu, dengan geran baru NIH turun kira-kira $ 2.3 bilion tahun ini, setitik hampir satu pertiga. Cadangan belanjawan yang bocor menunjukkan bahawa pentadbiran Trump sedang mempertimbangkan untuk memotong belanjawan secara mendadak untuk institusi saintifik, dengan kemungkinan pengurangan sehingga 50%. Kegawatan dalam bidang penyelidikan asas juga telah menjejaskan salah satu kelebihan utama Amerika Syarikat: menarik bakat luar negara. 35

Semua Mengenai Keluarga GPT 4.1 Terbuka AI - Analytics VidhyaSemua Mengenai Keluarga GPT 4.1 Terbuka AI - Analytics VidhyaApr 26, 2025 am 10:19 AM

OpenAI melancarkan siri GPT-4.1 yang kuat: keluarga tiga model bahasa lanjutan yang direka untuk aplikasi dunia nyata. Lompat penting ini menawarkan masa tindak balas yang lebih cepat, pemahaman yang lebih baik, dan kos yang dikurangkan secara drastik berbanding t

See all articles

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

VSCode Windows 64-bit Muat Turun

VSCode Windows 64-bit Muat Turun

Editor IDE percuma dan berkuasa yang dilancarkan oleh Microsoft

DVWA

DVWA

Damn Vulnerable Web App (DVWA) ialah aplikasi web PHP/MySQL yang sangat terdedah. Matlamat utamanya adalah untuk menjadi bantuan bagi profesional keselamatan untuk menguji kemahiran dan alatan mereka dalam persekitaran undang-undang, untuk membantu pembangun web lebih memahami proses mengamankan aplikasi web, dan untuk membantu guru/pelajar mengajar/belajar dalam persekitaran bilik darjah Aplikasi web keselamatan. Matlamat DVWA adalah untuk mempraktikkan beberapa kelemahan web yang paling biasa melalui antara muka yang mudah dan mudah, dengan pelbagai tahap kesukaran. Sila ambil perhatian bahawa perisian ini

Muat turun versi mac editor Atom

Muat turun versi mac editor Atom

Editor sumber terbuka yang paling popular

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

mPDF

mPDF

mPDF ialah perpustakaan PHP yang boleh menjana fail PDF daripada HTML yang dikodkan UTF-8. Pengarang asal, Ian Back, menulis mPDF untuk mengeluarkan fail PDF "dengan cepat" dari tapak webnya dan mengendalikan bahasa yang berbeza. Ia lebih perlahan dan menghasilkan fail yang lebih besar apabila menggunakan fon Unicode daripada skrip asal seperti HTML2FPDF, tetapi menyokong gaya CSS dsb. dan mempunyai banyak peningkatan. Menyokong hampir semua bahasa, termasuk RTL (Arab dan Ibrani) dan CJK (Cina, Jepun dan Korea). Menyokong elemen peringkat blok bersarang (seperti P, DIV),