


Penyelesaian bijak untuk masalah 'kekurangan data'! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian saraf
Model ramalan spatiotemporal tradisional biasanya memerlukan sejumlah besar sokongan data untuk mencapai hasil yang baik.
Walau bagaimanapun, data spatiotemporal (seperti data trafik dan aliran orang ramai) di banyak kawasan adalah terhad disebabkan oleh perbezaan dalam tahap pembangunan bandar yang berbeza dan dasar pengumpulan data yang tidak konsisten. Oleh itu, kebolehpindahan model menjadi sangat penting apabila data adalah terhad.
Penyelidikan semasa bergantung terutamanya pada data dari bandar sumber untuk melatih model dan menggunakannya pada data dari bandar sasaran, tetapi pendekatan ini selalunya memerlukan reka bentuk padanan yang kompleks. Cara untuk mencapai pemindahan pengetahuan yang lebih luas antara bandar sumber dan sasaran kekal sebagai isu yang mencabar.
Baru-baru ini, model pra-latihan telah mencapai kemajuan yang ketara dalam bidang pemprosesan bahasa semula jadi dan penglihatan komputer. Pengenalan teknologi segera mengecilkan jurang antara penalaan halus dan pra-latihan, membolehkan model pra-latihan lanjutan menyesuaikan diri dengan tugas baharu dengan lebih cepat. Kelebihan kaedah ini ialah ia mengurangkan pergantungan pada penalaan halus yang membosankan dan meningkatkan kecekapan dan fleksibiliti model. Melalui teknologi segera, model boleh lebih memahami keperluan pengguna dan menghasilkan output yang lebih tepat, sekali gus memberikan pengalaman dan perkhidmatan yang lebih baik kepada orang ramai. Pendekatan inovatif ini memacu pembangunan teknologi kecerdasan buatan, membawa lebih banyak kemungkinan dan peluang kepada pelbagai industri.
Gambar
Pautan kertas: https://openreview.net/forum?id=QyFm3D3Tzi
Kod sumber terbuka dan data: https://www.php.cn/link/6644cb034d30b308d
Penerbitan terkini di ICLR2024 Hasil "Pembelajaran Sedikit Tangkapan Spatio-Temporal melalui Penjanaan Rangkaian Neural Diffusive" Pusat Penyelidikan Sains Bandar dan Pengkomputeran Jabatan Kejuruteraan Elektronik Universiti Tsinghua memperkenalkan model GPD (Generative Pre-Trained Diffusion) dan berjaya merealisasikan spatio- pembelajaran temporal dalam kajian senario data yang jarang. Kaedah ini menggunakan parameter rangkaian neural generatif untuk mengubah pembelajaran data jarang spatiotemporal kepada masalah pra-latihan generatif model resapan. Tidak seperti kaedah tradisional, kaedah ini tidak lagi memerlukan pengekstrakan ciri yang boleh dipindah milik atau mereka bentuk strategi padanan corak yang kompleks, dan juga tidak perlu mempelajari permulaan model yang baik untuk senario beberapa pukulan. Sebaliknya, kaedah ini mempelajari pengetahuan tentang pengoptimuman parameter rangkaian saraf dengan pra-latihan pada data daripada bandar sumber, dan kemudian menjana model rangkaian saraf yang sesuai untuk bandar sasaran berdasarkan gesaan. Inovasi kaedah ini ialah ia boleh menjana rangkaian neural tersuai berdasarkan "prompt", secara berkesan menyesuaikan diri dengan perbezaan dalam pengedaran data dan ciri-ciri antara bandar yang berbeza, dan mencapai pemindahan pengetahuan spatio-temporal yang bijak. Penyelidikan ini memberikan idea baharu untuk menyelesaikan masalah kekurangan data dalam pengkomputeran bandar. Data dan kod kertas adalah sumber terbuka. Daripada pengedaran data kepada pengedaran parameter rangkaian sarafRajah 1: Pemindahan pengetahuan tahap corak data berbanding pemindahan pengetahuan peringkat rangkaian saraf
Rajah 2 Gambaran keseluruhan model GPD
2. Pra-latihan model resapan: Rangka kerja ini menggunakan parameter model pra-latihan yang dikumpul sebagai data latihan untuk melatih model resapan untuk mempelajari proses penjanaan parameter model. Model resapan menjana parameter melalui denoising berperingkat, satu proses yang serupa dengan proses pengoptimuman parameter bermula daripada pemulaan rawak, dan oleh itu lebih mampu menyesuaikan diri dengan pengedaran data bandar sasaran.
3. Penjanaan parameter rangkaian saraf: Selepas pra-latihan, parameter boleh dijana dengan menggunakan isyarat serantau bandar sasaran. Pendekatan ini memanfaatkan petunjuk untuk memudahkan pemindahan pengetahuan dan padanan parameter yang tepat, memanfaatkan sepenuhnya persamaan antara wilayah antara bandar.
Perlu diingat bahawa dalam rangka penalaan halus pra-latihan-kiu, pemilihan isyarat adalah sangat fleksibel, selagi ia dapat menangkap ciri-ciri wilayah tertentu. Sebagai contoh, pelbagai ciri statik seperti populasi, kawasan wilayah, fungsi dan pengedaran tempat menarik (POI) boleh digunakan untuk mencapai tujuan ini.
Kerja ini menggunakan isyarat serantau dari kedua-dua aspek spatial dan temporal: isyarat spatial datang daripada perwakilan nod dalam graf pengetahuan bandar [1,2], yang hanya menggunakan perhubungan seperti kedekatan wilayah dan persamaan fungsi, yang biasa di semua bandar dengan mudah boleh diakses; isyarat temporal datang daripada pengekod model pembelajaran yang diselia sendiri. Lihat artikel asal untuk mendapatkan butiran lanjut tentang reka bentuk segera.
Selain itu, kajian ini juga meneroka kaedah pengenalan kiu yang berbeza, dan eksperimen mengesahkan bahawa pengenalan kiu berdasarkan pengetahuan sedia ada mempunyai prestasi optimum: menggunakan isyarat spatial untuk membimbing penjanaan parameter rangkaian saraf untuk memodelkan korelasi spatial, dan menggunakan isyarat masa untuk panduan rangkaian neural temporal Penjanaan parameter rangkaian.
Hasil eksperimen
Pasukan menerangkan tetapan percubaan secara terperinci dalam kertas untuk membantu penyelidik lain menghasilkan semula keputusan mereka. Mereka juga menyediakan kertas asal dan kod data sumber terbuka, yang keputusan percubaannya kami fokuskan di sini.
Untuk menilai keberkesanan rangka kerja yang dicadangkan, kajian ini menjalankan eksperimen ke atas dua jenis tugas ramalan spatiotemporal klasik: ramalan aliran orang ramai dan ramalan kelajuan trafik, meliputi beberapa set data bandar.
Gambar
Jadual 1 menunjukkan hasil perbandingan terhadap kaedah garis dasar terkini pada empat set data. Berdasarkan keputusan ini, pemerhatian berikut boleh dibuat:
1) GPD menunjukkan kelebihan prestasi yang ketara berbanding model garis dasar dan secara konsisten mengatasi prestasi dalam senario data yang berbeza, yang menunjukkan bahawa GPD mencapai pemindahan pengetahuan yang berkesan pada tahap parameter rangkaian saraf.
2) GPD berprestasi baik dalam senario ramalan jangka panjang ini boleh dikaitkan dengan rangka kerja melombong pengetahuan yang lebih penting, yang membantu memindahkan pengetahuan corak spatiotemporal jangka panjang ke bandar sasaran.
Rajah 3 Perbandingan prestasi model ramalan spatiotemporal berbeza
Selain itu, kajian ini juga mengesahkan fleksibiliti rangka kerja GPD untuk menyesuaikan model ramalan spatiotemporal yang berbeza. Sebagai tambahan kepada kaedah graf spatiotemporal klasik STGCN, kajian ini juga memperkenalkan GWN dan STID sebagai model ramalan spatiotemporal dan menggunakan model resapan untuk menjana parameter rangkaiannya.
Hasil eksperimen menunjukkan bahawa keunggulan rangka kerja tidak akan terjejas oleh pemilihan model, jadi ia boleh disesuaikan dengan pelbagai model lanjutan.
Selanjutnya, kajian menjalankan analisis kes dengan memanipulasi persamaan corak pada dua set data sintetik.
Rajah 4 menunjukkan bahawa kawasan A dan B mempunyai corak siri masa yang sangat serupa, manakala wilayah C mempamerkan corak yang jauh berbeza. Manakala, Rajah 5 menunjukkan bahawa nod A dan B mempunyai kedudukan spatial simetri.
Oleh itu, kita boleh membuat kesimpulan bahawa kawasan A dan B mempunyai corak spatiotemporal yang hampir sama, sementara terdapat perbezaan yang jelas daripada C. Keputusan taburan parameter rangkaian saraf yang dijana oleh model menunjukkan bahawa taburan parameter A dan B adalah serupa, tetapi jauh berbeza daripada taburan parameter C. Ini seterusnya mengesahkan keupayaan rangka kerja GPD untuk menjana parameter rangkaian saraf dengan berkesan dengan corak spatiotemporal yang pelbagai. . / link/6644cb08d30b2ca55c284344a9750c2e
[1] Liu, Yu, et al. "Urbankg: Sistem graf pengetahuan bandar." Zhilun , et al. "Pembelajaran graf pengetahuan hierarki membolehkan ramalan penunjuk sosioekonomi dalam rangkaian sosial berasaskan lokasi."
Atas ialah kandungan terperinci Penyelesaian bijak untuk masalah 'kekurangan data'! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian saraf. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Laporan Indeks Perisikan Buatan 2025 yang dikeluarkan oleh Stanford University Institute for Manusia Berorientasikan Kecerdasan Buatan memberikan gambaran yang baik tentang revolusi kecerdasan buatan yang berterusan. Mari kita menafsirkannya dalam empat konsep mudah: kognisi (memahami apa yang sedang berlaku), penghargaan (melihat faedah), penerimaan (cabaran muka), dan tanggungjawab (cari tanggungjawab kita). Kognisi: Kecerdasan buatan di mana -mana dan berkembang pesat Kita perlu menyedari betapa cepatnya kecerdasan buatan sedang berkembang dan menyebarkan. Sistem kecerdasan buatan sentiasa bertambah baik, mencapai hasil yang sangat baik dalam ujian matematik dan pemikiran kompleks, dan hanya setahun yang lalu mereka gagal dalam ujian ini. Bayangkan AI menyelesaikan masalah pengekodan kompleks atau masalah saintifik peringkat siswazah-sejak tahun 2023

Meta's Llama 3.2: Lompat ke hadapan dalam Multimodal dan Mobile AI META baru -baru ini melancarkan Llama 3.2, kemajuan yang ketara dalam AI yang memaparkan keupayaan penglihatan yang kuat dan model teks ringan yang dioptimumkan untuk peranti mudah alih. Membina kejayaan o

Landskap AI minggu ini: Badai kemajuan, pertimbangan etika, dan perdebatan pengawalseliaan. Pemain utama seperti Openai, Google, Meta, dan Microsoft telah melepaskan kemas kini, dari model baru yang terobosan ke peralihan penting di LE

Ilusi yang menghiburkan sambungan: Adakah kita benar -benar berkembang dalam hubungan kita dengan AI? Soalan ini mencabar nada optimis Simposium MIT Media Lab "yang memajukan AI (AHA)". Manakala acara itu mempamerkan cutting-EDG

Pengenalan Bayangkan anda seorang saintis atau jurutera menangani masalah kompleks - persamaan pembezaan, cabaran pengoptimuman, atau analisis Fourier. Kemudahan penggunaan dan kemampuan grafik Python menarik, tetapi tugas -tugas ini menuntut alat yang berkuasa

Meta's Llama 3.2: Powerhouse AI Multimodal Model multimodal terbaru Meta, Llama 3.2, mewakili kemajuan yang ketara dalam AI, yang membanggakan pemahaman bahasa yang dipertingkatkan, ketepatan yang lebih baik, dan keupayaan penjanaan teks yang unggul. Keupayaannya t

Jaminan Kualiti Data: Pemeriksaan Automatik dengan Dagster dan Harapan Hebat Mengekalkan kualiti data yang tinggi adalah penting untuk perniagaan yang didorong data. Apabila jumlah data dan sumber meningkat, kawalan kualiti manual menjadi tidak cekap dan terdedah kepada kesilapan.

Main Frames: Wira Unsung Revolusi AI Walaupun pelayan cemerlang dalam aplikasi tujuan umum dan mengendalikan pelbagai pelanggan, kerangka utama dibina untuk tugas tinggi, misi kritikal. Sistem yang kuat ini sering dijumpai di Heavil


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

MantisBT
Mantis ialah alat pengesan kecacatan berasaskan web yang mudah digunakan yang direka untuk membantu dalam pengesanan kecacatan produk. Ia memerlukan PHP, MySQL dan pelayan web. Lihat perkhidmatan demo dan pengehosan kami.

Dreamweaver Mac版
Alat pembangunan web visual

ZendStudio 13.5.1 Mac
Persekitaran pembangunan bersepadu PHP yang berkuasa

MinGW - GNU Minimalis untuk Windows
Projek ini dalam proses untuk dipindahkan ke osdn.net/projects/mingw, anda boleh terus mengikuti kami di sana. MinGW: Port Windows asli bagi GNU Compiler Collection (GCC), perpustakaan import yang boleh diedarkan secara bebas dan fail pengepala untuk membina aplikasi Windows asli termasuk sambungan kepada masa jalan MSVC untuk menyokong fungsi C99. Semua perisian MinGW boleh dijalankan pada platform Windows 64-bit.

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan