7262 kertas telah diserahkan, ICLR 2024 menjadi popular, dan dua kertas domestik telah dicalonkan untuk kertas tertunggak.

Sebanyak 5 anugerah kertas cemerlang dan 11 sebutan kehormat telah dipilih pada tahun ini.

ICLR bermaksud Persidangan Antarabangsa mengenai Perwakilan Pembelajaran Tahun ini adalah persidangan ke-12, yang diadakan di Vienna, Austria dari 7 hingga 11 Mei.

Dalam komuniti pembelajaran mesin, ICLR ialah persidangan akademik teratas yang agak "muda" Ia dihoskan oleh gergasi pembelajaran mendalam dan pemenang Anugerah Turing Yoshua Bengio dan Yann LeCun Ia baru sahaja mengadakan sesi pertamanya pada tahun 2013. Walau bagaimanapun, ICLR dengan cepat mendapat pengiktirafan luas daripada penyelidik akademik dan dianggap sebagai persidangan akademik teratas mengenai pembelajaran mendalam.

Persidangan ini menerima sejumlah 7262 kertas kerja yang diserahkan, dan menerima 2260 kertas kerja Kadar penerimaan keseluruhan adalah kira-kira 31%, sama seperti tahun lepas (31.8%). Selain itu, bahagian kertas Spotlights ialah 5% dan bahagian kertas Lisan ialah 1.2%. . R Untuk kertas ICLR terdahulu, dalam kertas pemenang anugerah yang diumumkan baru-baru ini, persidangan itu memilih 5 anugerah tesis cemerlang dan 11 anugerah pencalonan kehormat. Anugerah Kertas Cemerlang 5 bersih / pdf?id=ANvmVS2Yr0

Institusi: New York University, Collège de France

Pengarang: Zahra Kadkhodaie, Florentin Guth, Eero P. Simoncelli, Stéphane Mallat

Artikel umum yang diimport

ini analisis memori yang mendalam. Penulis mengkaji secara empirikal apabila model penjanaan imej beralih daripada input memori kepada mod generalisasi, dan menghubungkannya dengan idea analisis harmonik melalui perwakilan harmonik adaptif geometri, seterusnya menerangkan fenomena ini dari perspektif bias aruhan seni bina. Artikel ini merangkumi bahagian penting yang hilang dalam pemahaman kita tentang model penglihatan generatif dan mempunyai implikasi yang besar untuk penyelidikan masa depan.

^{Kertas: Belajar Simulator Dunia Sebenar Interaktif}

Alamat kertas: https://openreview.net/forum?id=sFyTZEqmUY

Alamat kertas: https://openreview.net/forum?id=sFyTZEqmUY

, Institusi Google: Deep, Google MIT Universiti Berta

• Pengarang: Sherry Yang, Yilun Du, Kamyar Ghasemipour, Jonathan Tompson, Leslie Kaelbling, Dale Schuurmans, Pieter Abbeel

• Mengagregatkan data merentas pelbagai sumber matlamat untuk melatih model asas jangka panjang . Memandangkan robot yang berbeza mempunyai antara muka sensorimotor yang berbeza, ini menimbulkan cabaran yang ketara kepada latihan merentas set data berskala besar.

UniSim
• , merupakan langkah penting ke arah ini dan pencapaian kejuruteraan, memanfaatkan antara muka bersatu berdasarkan penerangan teks persepsi visual dan kawalan untuk mengagregat data dan dengan memanfaatkan kemajuan terkini dalam penglihatan dan bahasa yang Dibangunkan untuk melatih simulator robot .
  Ringkasnya, artikel ini meneroka UniSim, simulator tujuan umum untuk mempelajari interaksi dunia sebenar melalui model generatif, dan mengambil langkah pertama ke arah membina simulator tujuan umum. Sebagai contoh, UniSim boleh mensimulasikan cara manusia dan ejen berinteraksi dengan dunia dengan mensimulasikan arahan peringkat tinggi seperti "buka laci" dan hasil visual arahan peringkat rendah.

Makalah ini menggabungkan sejumlah besar data (termasuk pasangan imej teks Internet, data kaya daripada navigasi, aktiviti manusia, tindakan robot, dll., dan data daripada simulasi dan pemaparan) ke dalam rangka kerja penjanaan video bersyarat. Kemudian dengan mengatur data kaya dengan teliti di sepanjang paksi yang berbeza, makalah ini menunjukkan bahawa UniSim boleh berjaya menggabungkan pengalaman daripada paksi data yang berbeza dan membuat generalisasi di luar data untuk membolehkan interaksi kaya melalui kawalan gerakan halus adegan dan objek statik.

Seperti yang ditunjukkan dalam Rajah 3 di bawah, UniSim boleh mensimulasikan satu siri tindakan yang kaya, seperti mencuci tangan, mengambil mangkuk, memotong lobak merah, dan mengeringkan tangan di bahagian atas sebelah kanan Rajah 3 menunjukkan menekan suis yang berbeza; Rajah 3 menunjukkan dua adegan navigasi.

^{Adegan navigasi di sebelah kanan bawah Rajah 3}

Thesis: Tidak pernah berlatih dari awal: Perbandingan adil model urutan panjang memerlukan data yang didorong oleh Jonathan Berant, Ankit Gupta

^{Makalah ini menyelidiki keupayaan model ruang negeri yang dicadangkan baru-baru ini dan seni bina pengubah untuk memodelkan kebergantungan jujukan jangka panjang.} Anehnya, pengarang mendapati bahawa melatih model pengubah dari awal menyebabkan prestasinya dipandang rendah, dan peningkatan prestasi yang ketara boleh dicapai dengan tetapan pra-latihan dan penalaan halus. Makalah ini cemerlang dalam fokusnya pada kesederhanaan dan pandangan sistematik.

Kertas: Penemuan Protein dengan Persampelan Walk-Jump Diskret

• Alamat kertas: https://openreview.net/forum?id=zMPHKOmQNb

• Alamat kertas: https://openreview.net/forum?id=zMPHKOmQNb

Universiti

Pengarang: Nathan C. Frey, Dan Berenberg, Karina Zadorozhny, Joseph Kleinhenz, Julien Lafrance-Vanasse, Isidro Hotzel, Yan Wu, Stephen Ra, Richard Bonneau, Kyunghyun Cho, Andreas Loukas, Vladimir Gligorijevic, Saeed Saremi

Kertas kerja ini menangani masalah reka bentuk antibodi berasaskan jujukan, aplikasi model penjanaan jujukan protein yang tepat pada masanya dan penting.

• Untuk tujuan ini, penulis memperkenalkan kaedah pemodelan baharu yang inovatif dan berkesan yang disasarkan khusus kepada masalah pemprosesan data jujukan protein diskret. Di samping mengesahkan kaedah dalam silico, penulis melakukan eksperimen makmal basah yang meluas untuk mengukur pertalian mengikat antibodi in vitro, menunjukkan keberkesanan kaedah yang dihasilkan mereka.

• Kertas: Vision Transformers Perlu Daftar

Alamat kertas: https://openreview.net/forum?id=2dnO3LLiJ1

e

eInstitusi

Pengarang: Timothée Darce t. Maxime Oquab, Julien Mairal, Piotr Bojanowski

Kertas ini mengenal pasti artifak dalam peta ciri rangkaian pengubah penglihatan, yang dicirikan oleh token norma tinggi di kawasan latar belakang maklumat rendah.

• Pengarang mencadangkan andaian utama tentang bagaimana fenomena ini berlaku dan menyediakan penyelesaian yang ringkas tetapi elegan menggunakan token daftar tambahan untuk menangani kesan ini, dengan itu meningkatkan prestasi model dalam pelbagai tugas. Cerapan yang diperoleh daripada kerja ini juga boleh memberi kesan kepada bidang aplikasi lain.

Kertas kerja ini ditulis dengan cemerlang dan memberikan contoh yang baik dalam menjalankan penyelidikan: "Kenal pasti masalah, fahami mengapa ia berlaku, dan kemudian cadangkan penyelesaian

• 11 sebutan yang mulia

• Selain 5 kertas kerja yang belum selesai." ICLR 2024 juga memilih 11 sebutan kehormat.

Kertas: Melunaskan inferens yang sukar dikawal dalam model bahasa besar

Institusi: University of Montreal, University of Oxford

Pengarang: Edward J Hu, Moksh Jain, Ericness Elmoznind Lajodar, Youness Elmoznino Bendarie , Nikolay Malkin

Alamat kertas: https://openreview.net/forum?id=Ouj6p4ca60

Makalah ini mencadangkan alternatif kepada penyahkodan autoregresif dalam model bahasa besar dari perspektif pendekatan inferens Bayesian. yang boleh memberi inspirasi kepada penyelidikan susulan.

• Kertas: Mengira Nash Equilibria dalam Permainan Bentuk Normal melalui Pengoptimuman Stokastik
Institusi: DeepMind
Pengarang: Ian Gemp, Luke Marris, alamat

: https://www. terbuka review .net/forum?id=cc8h3I3V4E

Ini adalah kertas bertulis yang sangat jelas yang menyumbang secara signifikan untuk menyelesaikan masalah penting untuk membangunkan penyelesai Nash yang cekap dan berskala.

Kertas: Beyond Weisfeiler-Lehman: Rangka Kerja Kuantitatif untuk Ekspresi GNN

• Institusi: Universiti Peking, Institut Penyelidikan Kecerdasan Buatan Zhiyuan Beijing

• Pengarang: Ying Wei Gai Wei Heng Heng Qi Wei Heng Qi Weiheng

• Alamat kertas: https://openreview.net/forum?id=HSKaGOi7Ar

Keupayaan ekspresif GNN ialah topik penting, dan penyelesaian semasa masih mempunyai had yang besar. Penulis mencadangkan teori ekspresitiviti baharu berdasarkan pengiraan homomorfik.

Kertas: Flow Matching on General Geometries

• Institusi: Meta

• Pengarang: Ricky T. Q. Chen, Yaron Lipman

• alamat: Tinjauan: Meta

Pengarang: Ricky T. Q. Chen, Yaron Lipman

?alamat TL: https://o.

Kertas kerja ini meneroka masalah pemodelan generatif yang mencabar tetapi penting pada pancarongga geometri am dan mencadangkan algoritma yang praktikal dan cekap. Kertas ini dibentangkan dengan cemerlang dan disahkan sepenuhnya secara eksperimen pada pelbagai tugas.

• Kertas: Adakah ImageNet bernilai 1 video? Mempelajari pengekod imej yang kukuh daripada 1 video panjang tanpa label
Institusi: University of Central Florida, Google DeepMind, University of Amsterdam, dsb. Mamshad Nayeem Rizve, Joao Carreira, Yuki M Asano, Yannis Avrithis
Alamat kertas: https://openreview.net/forum?id=Yen1lGns2o

Makalah ini mencadangkan kaedah penyeliaan kendiri novel , iaitu dengan latihan daripada Belajar daripada video berterusan. Kertas kerja ini menyumbang kedua-dua jenis data baharu dan kaedah untuk belajar daripada data baharu.

Kertas: Pembelajaran Berterusan Meta Disemak Semula: Secara Tersirat Meningkatkan Penghampiran Hessian Dalam Talian melalui Pengurangan Varians

Institusi: City University of Hong Kong, Tencent AI Lab, Xi'an Jiaotong University, dsb.
• Wu, Long-Kai Huang, Renzhen Wang, Deyu Meng, dan Ying Wei

Alamat kertas: https://openreview.net/forum?id=TpD2aG1h0D

Pengarang mencadangkan varians pembelajaran meta-berterusan baharu kaedah pengurangan. Kaedah ini berfungsi dengan baik dan bukan sahaja mempunyai kesan praktikal tetapi juga disokong oleh analisis penyesalan.

Kertas: Model Memberitahu Anda Perkara yang Perlu Dibuang: Mampatan Cache KV Adaptif untuk LLM
• Institusi: University of Illinois di Urbana-Champaign, Microsoft

• Pengarang: Liyuan Zhang, Liyuan, Liyuan, Liyuan Zhang, Jiawei Han, Jianfeng Gao

Alamat kertas: https://openreview.net/forum?id=uNrFpDPMyo

Artikel ini memfokuskan pada masalah mampatan cache KV (masalah ini memberi kesan yang besar kepada Transformer- berasaskan LLM), dengan idea mudah yang mengurangkan memori dan boleh digunakan tanpa penalaan halus atau latihan semula yang mahal. Kaedah ini sangat mudah dan telah terbukti sangat berkesan.

Kertas: Membuktikan Pencemaran Set Ujian dalam Model Bahasa Black-Box
• Institusi: Universiti Stanford, Universiti Columbia

• Pengarang: Yonatan Oren, Nicole Meister, Niladri S. Faisunori Ladhakaji, Tadhakhimori S.

Alamat kertas: https://openreview.net/forum?id=KS8mIvetg2

Kertas ini menggunakan kaedah yang mudah dan elegan untuk menguji sama ada set data pembelajaran yang diselia telah dimasukkan dalam model bahasa besar dalam latihan.

Kertas: Ejen teguh belajar model dunia kausal

Institusi: Google DeepMind
Pengarang: Jonathan Richens, Tom Everitt

alamatforum: https://Paperid

pOoKI3ouv1
Kertas kerja ini membuat kemajuan besar dalam meletakkan asas teori untuk memahami peranan penaakulan kausal dalam keupayaan ejen untuk membuat generalisasi kepada domain baharu, dengan implikasi untuk pelbagai bidang berkaitan.

• Kertas: Asas mekanistik pergantungan data dan pembelajaran mendadak dalam tugas pengelasan dalam konteks

• Institusi: Universiti Princeton, Universiti Harvard, dll.

• Pengarang: Gautam Reddy
Alamat: Gautam Reddy
: https://openreview.net/forum?id=aN4Jf6Cx69

Ini adalah kajian yang tepat pada masanya dan sangat sistematik yang meneroka hubungan antara pembelajaran dalam konteks dan pembelajaran dalam berat apabila kita mula memahami fenomena ini.

Kertas: Ke arah teori statistik pemilihan data di bawah pengawasan yang lemah
• Institusi: Granica Computing

• Pengarang: Germain Kolossov, Andrea Montanari, alamat Pulkit Tandon

.net/forum?id=HhfcNgQn6p

Kertas kerja ini mewujudkan asas statistik untuk pemilihan subset data dan mengenal pasti kelemahan kaedah pemilihan data yang popular.

Pautan rujukan: https://blog.iclr.cc/2024/05/06/iclr-2024-outstanding-paper-awards/🎜🎜🎜

Atas ialah kandungan terperinci 7262 kertas telah diserahkan, ICLR 2024 menjadi popular, dan dua kertas domestik telah dicalonkan untuk kertas tertunggak.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!