


Penyelesaian bijak untuk masalah 'kekurangan data'! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian saraf
Model ramalan spatiotemporal tradisional biasanya memerlukan sejumlah besar sokongan data untuk mencapai hasil yang baik.
Walau bagaimanapun, data spatiotemporal (seperti data trafik dan aliran orang ramai) di banyak kawasan adalah terhad disebabkan oleh perbezaan dalam tahap pembangunan bandar yang berbeza dan dasar pengumpulan data yang tidak konsisten. Oleh itu, kebolehpindahan model menjadi sangat penting apabila data adalah terhad.
Penyelidikan semasa bergantung terutamanya pada data dari bandar sumber untuk melatih model dan menggunakannya pada data dari bandar sasaran, tetapi pendekatan ini selalunya memerlukan reka bentuk padanan yang kompleks. Cara untuk mencapai pemindahan pengetahuan yang lebih luas antara bandar sumber dan sasaran kekal sebagai isu yang mencabar.
Baru-baru ini, model pra-latihan telah mencapai kemajuan yang ketara dalam bidang pemprosesan bahasa semula jadi dan penglihatan komputer. Pengenalan teknologi segera mengecilkan jurang antara penalaan halus dan pra-latihan, membolehkan model pra-latihan lanjutan menyesuaikan diri dengan tugas baharu dengan lebih cepat. Kelebihan kaedah ini ialah ia mengurangkan pergantungan pada penalaan halus yang membosankan dan meningkatkan kecekapan dan fleksibiliti model. Melalui teknologi segera, model boleh lebih memahami keperluan pengguna dan menghasilkan output yang lebih tepat, sekali gus memberikan pengalaman dan perkhidmatan yang lebih baik kepada orang ramai. Pendekatan inovatif ini memacu pembangunan teknologi kecerdasan buatan, membawa lebih banyak kemungkinan dan peluang kepada pelbagai industri.
Gambar
Pautan kertas: https://openreview.net/forum?id=QyFm3D3Tzi
Kod sumber terbuka dan data: https://www.php.cn/link/6644cb034d30b308d
Penerbitan terkini di ICLR2024 Hasil "Pembelajaran Sedikit Tangkapan Spatio-Temporal melalui Penjanaan Rangkaian Neural Diffusive" Pusat Penyelidikan Sains Bandar dan Pengkomputeran Jabatan Kejuruteraan Elektronik Universiti Tsinghua memperkenalkan model GPD (Generative Pre-Trained Diffusion) dan berjaya merealisasikan spatio- pembelajaran temporal dalam kajian senario data yang jarang. Kaedah ini menggunakan parameter rangkaian neural generatif untuk mengubah pembelajaran data jarang spatiotemporal kepada masalah pra-latihan generatif model resapan. Tidak seperti kaedah tradisional, kaedah ini tidak lagi memerlukan pengekstrakan ciri yang boleh dipindah milik atau mereka bentuk strategi padanan corak yang kompleks, dan juga tidak perlu mempelajari permulaan model yang baik untuk senario beberapa pukulan. Sebaliknya, kaedah ini mempelajari pengetahuan tentang pengoptimuman parameter rangkaian saraf dengan pra-latihan pada data daripada bandar sumber, dan kemudian menjana model rangkaian saraf yang sesuai untuk bandar sasaran berdasarkan gesaan. Inovasi kaedah ini ialah ia boleh menjana rangkaian neural tersuai berdasarkan "prompt", secara berkesan menyesuaikan diri dengan perbezaan dalam pengedaran data dan ciri-ciri antara bandar yang berbeza, dan mencapai pemindahan pengetahuan spatio-temporal yang bijak. Penyelidikan ini memberikan idea baharu untuk menyelesaikan masalah kekurangan data dalam pengkomputeran bandar. Data dan kod kertas adalah sumber terbuka. Daripada pengedaran data kepada pengedaran parameter rangkaian sarafRajah 1: Pemindahan pengetahuan tahap corak data berbanding pemindahan pengetahuan peringkat rangkaian saraf
Rajah 2 Gambaran keseluruhan model GPD
2. Pra-latihan model resapan: Rangka kerja ini menggunakan parameter model pra-latihan yang dikumpul sebagai data latihan untuk melatih model resapan untuk mempelajari proses penjanaan parameter model. Model resapan menjana parameter melalui denoising berperingkat, satu proses yang serupa dengan proses pengoptimuman parameter bermula daripada pemulaan rawak, dan oleh itu lebih mampu menyesuaikan diri dengan pengedaran data bandar sasaran.
3. Penjanaan parameter rangkaian saraf: Selepas pra-latihan, parameter boleh dijana dengan menggunakan isyarat serantau bandar sasaran. Pendekatan ini memanfaatkan petunjuk untuk memudahkan pemindahan pengetahuan dan padanan parameter yang tepat, memanfaatkan sepenuhnya persamaan antara wilayah antara bandar.
Perlu diingat bahawa dalam rangka penalaan halus pra-latihan-kiu, pemilihan isyarat adalah sangat fleksibel, selagi ia dapat menangkap ciri-ciri wilayah tertentu. Sebagai contoh, pelbagai ciri statik seperti populasi, kawasan wilayah, fungsi dan pengedaran tempat menarik (POI) boleh digunakan untuk mencapai tujuan ini.
Kerja ini menggunakan isyarat serantau dari kedua-dua aspek spatial dan temporal: isyarat spatial datang daripada perwakilan nod dalam graf pengetahuan bandar [1,2], yang hanya menggunakan perhubungan seperti kedekatan wilayah dan persamaan fungsi, yang biasa di semua bandar dengan mudah boleh diakses; isyarat temporal datang daripada pengekod model pembelajaran yang diselia sendiri. Lihat artikel asal untuk mendapatkan butiran lanjut tentang reka bentuk segera.
Selain itu, kajian ini juga meneroka kaedah pengenalan kiu yang berbeza, dan eksperimen mengesahkan bahawa pengenalan kiu berdasarkan pengetahuan sedia ada mempunyai prestasi optimum: menggunakan isyarat spatial untuk membimbing penjanaan parameter rangkaian saraf untuk memodelkan korelasi spatial, dan menggunakan isyarat masa untuk panduan rangkaian neural temporal Penjanaan parameter rangkaian.
Hasil eksperimen
Pasukan menerangkan tetapan percubaan secara terperinci dalam kertas untuk membantu penyelidik lain menghasilkan semula keputusan mereka. Mereka juga menyediakan kertas asal dan kod data sumber terbuka, yang keputusan percubaannya kami fokuskan di sini.
Untuk menilai keberkesanan rangka kerja yang dicadangkan, kajian ini menjalankan eksperimen ke atas dua jenis tugas ramalan spatiotemporal klasik: ramalan aliran orang ramai dan ramalan kelajuan trafik, meliputi beberapa set data bandar.
Gambar
Jadual 1 menunjukkan hasil perbandingan terhadap kaedah garis dasar terkini pada empat set data. Berdasarkan keputusan ini, pemerhatian berikut boleh dibuat:
1) GPD menunjukkan kelebihan prestasi yang ketara berbanding model garis dasar dan secara konsisten mengatasi prestasi dalam senario data yang berbeza, yang menunjukkan bahawa GPD mencapai pemindahan pengetahuan yang berkesan pada tahap parameter rangkaian saraf.
2) GPD berprestasi baik dalam senario ramalan jangka panjang ini boleh dikaitkan dengan rangka kerja melombong pengetahuan yang lebih penting, yang membantu memindahkan pengetahuan corak spatiotemporal jangka panjang ke bandar sasaran.
Rajah 3 Perbandingan prestasi model ramalan spatiotemporal berbeza
Selain itu, kajian ini juga mengesahkan fleksibiliti rangka kerja GPD untuk menyesuaikan model ramalan spatiotemporal yang berbeza. Sebagai tambahan kepada kaedah graf spatiotemporal klasik STGCN, kajian ini juga memperkenalkan GWN dan STID sebagai model ramalan spatiotemporal dan menggunakan model resapan untuk menjana parameter rangkaiannya.
Hasil eksperimen menunjukkan bahawa keunggulan rangka kerja tidak akan terjejas oleh pemilihan model, jadi ia boleh disesuaikan dengan pelbagai model lanjutan.
Selanjutnya, kajian menjalankan analisis kes dengan memanipulasi persamaan corak pada dua set data sintetik.
Rajah 4 menunjukkan bahawa kawasan A dan B mempunyai corak siri masa yang sangat serupa, manakala wilayah C mempamerkan corak yang jauh berbeza. Manakala, Rajah 5 menunjukkan bahawa nod A dan B mempunyai kedudukan spatial simetri.
Oleh itu, kita boleh membuat kesimpulan bahawa kawasan A dan B mempunyai corak spatiotemporal yang hampir sama, sementara terdapat perbezaan yang jelas daripada C. Keputusan taburan parameter rangkaian saraf yang dijana oleh model menunjukkan bahawa taburan parameter A dan B adalah serupa, tetapi jauh berbeza daripada taburan parameter C. Ini seterusnya mengesahkan keupayaan rangka kerja GPD untuk menjana parameter rangkaian saraf dengan berkesan dengan corak spatiotemporal yang pelbagai. . / link/6644cb08d30b2ca55c284344a9750c2e
[1] Liu, Yu, et al. "Urbankg: Sistem graf pengetahuan bandar." Zhilun , et al. "Pembelajaran graf pengetahuan hierarki membolehkan ramalan penunjuk sosioekonomi dalam rangkaian sosial berasaskan lokasi."
Atas ialah kandungan terperinci Penyelesaian bijak untuk masalah 'kekurangan data'! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian saraf. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Istilah "tenaga kerja siap sedia" sering digunakan, tetapi apakah maksudnya dalam industri rantaian bekalan? Menurut Abe Eshkenazi, Ketua Pegawai Eksekutif Persatuan Pengurusan Rantaian Bekalan (ASCM), ia menandakan profesional yang mampu mengkritik

Revolusi AI yang terdesentralisasi secara senyap -senyap mendapat momentum. Jumaat ini di Austin, Texas, Sidang Kemuncak Endgame Bittensor menandakan momen penting, beralih ke desentralisasi AI (DEAI) dari teori kepada aplikasi praktikal. Tidak seperti iklan mewah

Perusahaan AI menghadapi cabaran integrasi data Penggunaan perusahaan AI menghadapi cabaran utama: sistem bangunan yang dapat mengekalkan ketepatan dan kepraktisan dengan terus belajar data perniagaan. Microservices NEMO menyelesaikan masalah ini dengan mewujudkan apa yang NVIDIA menggambarkan sebagai "Flywheel Data", yang membolehkan sistem AI tetap relevan melalui pendedahan berterusan kepada maklumat perusahaan dan interaksi pengguna. Toolkit yang baru dilancarkan ini mengandungi lima microservices utama: Nemo Customizer mengendalikan penalaan model bahasa yang besar dengan latihan yang lebih tinggi. NEMO Evaluator menyediakan penilaian ringkas model AI untuk tanda aras tersuai. Nemo Guardrails Melaksanakan Kawalan Keselamatan untuk mengekalkan pematuhan dan kesesuaian

AI: Masa Depan Seni dan Reka Bentuk Kecerdasan Buatan (AI) mengubah bidang seni dan reka bentuk dengan cara yang belum pernah terjadi sebelumnya, dan impaknya tidak lagi terhad kepada amatur, tetapi lebih mempengaruhi profesional. Skim karya seni dan reka bentuk yang dihasilkan oleh AI dengan cepat menggantikan imej dan pereka bahan tradisional dalam banyak aktiviti reka bentuk transaksional seperti pengiklanan, generasi imej media sosial dan reka bentuk web. Walau bagaimanapun, artis dan pereka profesional juga mendapati nilai praktikal AI. Mereka menggunakan AI sebagai alat tambahan untuk meneroka kemungkinan estetik baru, menggabungkan gaya yang berbeza, dan membuat kesan visual baru. AI membantu artis dan pereka mengautomasikan tugas berulang, mencadangkan elemen reka bentuk yang berbeza dan memberikan input kreatif. AI menyokong pemindahan gaya, iaitu menggunakan gaya gambar

Zoom, yang pada mulanya dikenali untuk platform persidangan video, memimpin revolusi tempat kerja dengan penggunaan inovatif AIS AI. Perbualan baru -baru ini dengan CTO Zoom, XD Huang, mendedahkan penglihatan yang bercita -cita tinggi syarikat itu. Menentukan Agentic AI Huang d

Adakah AI akan merevolusikan pendidikan? Soalan ini mendorong refleksi serius di kalangan pendidik dan pihak berkepentingan. Penyepaduan AI ke dalam pendidikan memberikan peluang dan cabaran. Sebagai Matthew Lynch dari Nota Edvocate Tech, Universit

Pembangunan penyelidikan dan teknologi saintifik di Amerika Syarikat mungkin menghadapi cabaran, mungkin disebabkan oleh pemotongan anggaran. Menurut Alam, bilangan saintis Amerika yang memohon pekerjaan di luar negara meningkat sebanyak 32% dari Januari hingga Mac 2025 berbanding dengan tempoh yang sama pada tahun 2024. Pungutan sebelumnya menunjukkan bahawa 75% penyelidik yang ditinjau sedang mempertimbangkan untuk mencari pekerjaan di Eropah dan Kanada. Beratus-ratus geran NIH dan NSF telah ditamatkan dalam beberapa bulan yang lalu, dengan geran baru NIH turun kira-kira $ 2.3 bilion tahun ini, setitik hampir satu pertiga. Cadangan belanjawan yang bocor menunjukkan bahawa pentadbiran Trump sedang mempertimbangkan untuk memotong belanjawan secara mendadak untuk institusi saintifik, dengan kemungkinan pengurangan sehingga 50%. Kegawatan dalam bidang penyelidikan asas juga telah menjejaskan salah satu kelebihan utama Amerika Syarikat: menarik bakat luar negara. 35

OpenAI melancarkan siri GPT-4.1 yang kuat: keluarga tiga model bahasa lanjutan yang direka untuk aplikasi dunia nyata. Lompat penting ini menawarkan masa tindak balas yang lebih cepat, pemahaman yang lebih baik, dan kos yang dikurangkan secara drastik berbanding t


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

VSCode Windows 64-bit Muat Turun
Editor IDE percuma dan berkuasa yang dilancarkan oleh Microsoft

DVWA
Damn Vulnerable Web App (DVWA) ialah aplikasi web PHP/MySQL yang sangat terdedah. Matlamat utamanya adalah untuk menjadi bantuan bagi profesional keselamatan untuk menguji kemahiran dan alatan mereka dalam persekitaran undang-undang, untuk membantu pembangun web lebih memahami proses mengamankan aplikasi web, dan untuk membantu guru/pelajar mengajar/belajar dalam persekitaran bilik darjah Aplikasi web keselamatan. Matlamat DVWA adalah untuk mempraktikkan beberapa kelemahan web yang paling biasa melalui antara muka yang mudah dan mudah, dengan pelbagai tahap kesukaran. Sila ambil perhatian bahawa perisian ini

Muat turun versi mac editor Atom
Editor sumber terbuka yang paling popular

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

mPDF
mPDF ialah perpustakaan PHP yang boleh menjana fail PDF daripada HTML yang dikodkan UTF-8. Pengarang asal, Ian Back, menulis mPDF untuk mengeluarkan fail PDF "dengan cepat" dari tapak webnya dan mengendalikan bahasa yang berbeza. Ia lebih perlahan dan menghasilkan fail yang lebih besar apabila menggunakan fon Unicode daripada skrip asal seperti HTML2FPDF, tetapi menyokong gaya CSS dsb. dan mempunyai banyak peningkatan. Menyokong hampir semua bahasa, termasuk RTL (Arab dan Ibrani) dan CJK (Cina, Jepun dan Korea). Menyokong elemen peringkat blok bersarang (seperti P, DIV),
