7262 Beiträge wurden eingereicht, ICLR 2024 wurde ein Hit und zwei inländische Beiträge wurden für herausragende Beiträge nominiert.

In diesem Jahr wurden insgesamt 5 herausragende Paper Awards und 11 ehrenvolle Erwähnungen ausgewählt.

ICLR steht für International Conference on Learning Representations. Dieses Jahr findet die 12. Konferenz vom 7. bis 11. Mai in Wien, Österreich, statt.

In der Machine-Learning-Community ist die ICLR eine relativ „junge“ akademische Spitzenkonferenz. Sie wird von den Deep-Learning-Giganten und Turing-Award-Gewinnern Yoshua Bengio und Yann LeCun veranstaltet. Ihre erste Sitzung fand erst 2013 statt. Die ICLR erlangte jedoch schnell große Anerkennung bei akademischen Forschern und gilt als die führende akademische Konferenz zum Thema Deep Learning.

Bei dieser Konferenz wurden insgesamt 7262 Beiträge eingereicht und 2260 Beiträge angenommen. Die Gesamtannahmequote lag bei etwa 31 %, wie im letzten Jahr (31,8 %). Darüber hinaus liegt der Anteil der Spotlights-Beiträge bei 5 % und der Anteil der Oral-Beiträge bei 1,2 %.

Im Vergleich zu den Vorjahren ist die Beliebtheit von ICLR sowohl hinsichtlich der Teilnehmerzahl als auch der Anzahl der Papiereinreichungen deutlich gestiegen. R Für die vorherigen ICLR-Dissertationsdaten

In den kürzlich bekannt gegebenen preisgekrönten Arbeiten wählte die Konferenz 5 herausragende Dissertationspreise und 11 Ehrennominierungspreise aus. 5 Outstanding Paper Awards pdf?id=ANvmVS2Yr0

Institution: New York University, Collège de France

Autor: Zahra Kadkhodaie, Florentin Guth, Eero P. Simoncelli, Stéphane Mallat

Dieser Artikel verallgemeinert das Bilddiffusionsmodell und ist wichtig eingehende Analyse des Gedächtnisses. Die Autoren untersuchen empirisch, wann ein Bilderzeugungsmodell vom Speichereingabemodus in den Generalisierungsmodus wechselt, und verbinden dies mit der Idee der harmonischen Analyse durch geometrisch adaptive harmonische Darstellung, wodurch dieses Phänomen aus der Perspektive der architektonischen Induktionsverzerrung weiter erklärt wird. Dieser Artikel behandelt einen wichtigen, fehlenden Teil unseres Verständnisses generativer Sehmodelle und hat große Auswirkungen auf die zukünftige Forschung.

Papier: Lernen interaktiver realer Simulatoren

Papieradresse: https://openreview.net/forum?id=sFyTZEqmUY

• Institution: UC Berkeley, Google DeepMind, MIT, Al University of Berta

• Autoren: Sherry Yang, Yilun Du, Kamyar Ghasemipour, Jonathan Tompson, Leslie Kaelbling, Dale Schuurmans, Pieter Abbeel

• Das Aggregieren von Daten aus mehreren Quellen, um ein Basismodell für Roboter zu trainieren, ist eine langfristige Aufgabe Ziel. Da verschiedene Roboter über unterschiedliche sensomotorische Schnittstellen verfügen, stellt dies erhebliche Herausforderungen für das Training großer Datensätze dar.

UniSim

ist ein wichtiger Schritt in diese Richtung und eine technische Meisterleistung, da es eine einheitliche Schnittstelle nutzt, die auf textuellen Beschreibungen der visuellen Wahrnehmung und Kontrolle basiert, um Daten zu aggregieren und die neuesten Fortschritte in den Bereichen Vision und Sprache zu nutzen. Entwickelt, um Robotersimulatoren zu trainieren .

Zusammenfassend untersucht dieser Artikel UniSim, einen Allzwecksimulator zum Erlernen realer Interaktionen durch generative Modelle, und unternimmt den ersten Schritt zum Aufbau eines Allzwecksimulators. UniSim kann beispielsweise simulieren, wie Menschen und Agenten mit der Welt interagieren, indem es Anweisungen auf hoher Ebene wie „Öffne eine Schublade“ und die visuellen Ergebnisse von Anweisungen auf niedriger Ebene simuliert.

Dieses Papier kombiniert große Datenmengen (einschließlich Internet-Text-Bild-Paare, umfangreiche Daten aus Navigation, menschlichen Aktivitäten, Roboteraktionen usw. sowie Daten aus Simulationen und Renderings) in einem bedingten Videogenerierungsrahmen. Durch die sorgfältige Orchestrierung umfangreicher Daten entlang verschiedener Achsen zeigt dieses Papier, dass UniSim erfolgreich Erfahrungen aus verschiedenen Datenachsen zusammenführen und über die Daten hinaus verallgemeinern kann, um durch eine feinkörnige Bewegungssteuerung statischer Szenen und Objekte umfassende Interaktionen zu ermöglichen.

Wie in Abbildung 3 unten gezeigt, kann UniSim eine Reihe umfangreicher Aktionen simulieren, wie z. B. das Händewaschen, das Nehmen von Schüsseln, das Schneiden von Karotten und das Trocknen der Hände in einer Küchenszene Abbildung 3 zeigt zwei Navigationsszenen.右 Entspricht dem Navigationsszenario unten rechts oben in Abbildung 3

Das Navigationsszenario unten rechts oben in Abbildung 3

These: NIEMALS von Grund auf trainieren: Fairer Vergleich von Langsequenzen Modelle erfordern datengesteuerte Prioritäten

Papieradresse: https://openreview.net/forum?id=PdaPky8MUn

Institution: Tel Aviv University, IBM

• Autor: Ido Amos, Jonathan Berant, Ankit Gupta

• Dieses Papier befasst sich mit den Fähigkeiten kürzlich vorgeschlagener Zustandsraummodelle und Transformatorarchitekturen zur Modellierung langfristiger Sequenzabhängigkeiten.
• Überraschenderweise stellten die Autoren fest, dass das Training eines Transformatormodells von Grund auf dazu führt, dass seine Leistung unterschätzt wird und dass durch Vortraining und Feinabstimmung der Einstellungen erhebliche Leistungsverbesserungen erzielt werden können. Das Papier zeichnet sich durch seinen Fokus auf Einfachheit und systematische Erkenntnisse aus.

Papier: Protein Discovery with Discrete Walk-Jump Sampling

Papieradresse: https://openreview.net/forum?id=zMPHKOmQNb

Institution: Genentech, New York University

• Autoren: Nathan C. Frey, Dan Berenberg, Karina Zadorozhny, Joseph Kleinhenz, Julien Lafrance-Vanasse, Isidro Hotzel, Yan Wu, Stephen Ra, Richard Bonneau, Kyunghyun Cho, Andreas Loukas, Vladimir Gligorijevic, Saeed Saremi

• Dieser Artikel befasst sich mit dem Problem des sequenzbasierten Antikörperdesigns, einer zeitgemäßen und wichtigen Anwendung von Modellen zur Generierung von Proteinsequenzen.
• Zu diesem Zweck stellt der Autor eine innovative und effektive neue Modellierungsmethode vor, die speziell auf das Problem der Verarbeitung diskreter Proteinsequenzdaten ausgerichtet ist. Zusätzlich zur Validierung der Methode in silico führten die Autoren umfangreiche Nasslaborexperimente durch, um die Bindungsaffinitäten von Antikörpern in vitro zu messen und so die Wirksamkeit ihrer entwickelten Methode zu demonstrieren. „Papier: Vision Transformers Need Registers“ ée Darce t. Maxime Oquab, Julien Mairal, Piotr Bojanowski

Dieser Artikel identifiziert Artefakte in der Feature-Map eines Vision-Transformer-Netzwerks, die durch Token mit hoher Norm in Hintergrundregionen mit geringer Information gekennzeichnet sind.

Die Autoren schlagen Schlüsselhypothesen dafür vor, wie dieses Phänomen auftritt, und bieten eine einfache, aber elegante Lösung unter Verwendung zusätzlicher Register-Tokens zur Behebung dieser Spuren, wodurch die Leistung des Modells bei einer Vielzahl von Aufgaben verbessert wird. Erkenntnisse aus dieser Arbeit könnten sich auch auf andere Anwendungsbereiche auswirken.

Diese Arbeit ist hervorragend geschrieben und bietet ein gutes Beispiel für die Durchführung von Forschung: „Identifizieren Sie das Problem, verstehen Sie, warum es auftritt, und schlagen Sie dann eine Lösung vor.“ ICLR 2024 wählte außerdem 11 ehrenvolle Erwähnungen aus.

Aufsatz: Amortizing intractable inference in large language models

Institution: University of Montreal, University of Oxford
Autor: Edward J Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio , Nikolay Malkin
Papieradresse: https://openreview.net/forum?id=Ouj6p4ca60
Dieses Papier schlägt eine Alternative zur autoregressiven Dekodierung in großen Sprachmodellen aus der Perspektive der Bayes'schen Inferenz vor. Dies könnte zu weiteren Untersuchungen anregen.

Artikel: Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization

Institution: DeepMind

Autor: Ian Gemp, Luke Marris, Georgios Piliouras

Papieradresse: https://open review .net/forum?id=cc8h3I3V4E

• Dies ist ein sehr klar geschriebenes Papier, das wesentlich zum wichtigen Problem der Entwicklung effizienter und skalierbarer Nash-Löser beiträgt.

  Artikel: Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness

  • Institution: Peking University, Beijing Zhiyuan Artificial Intelligence Research Institute

  • Autor: Zhang Bohang Gai Jingchu Du Yiheng Ye Qiwei Hedi Wang Liwei

  • Papieradresse: https://openreview.net/forum?id=HSKaGOi7Ar

  Die Ausdrucksfähigkeit von GNN ist ein wichtiges Thema, und aktuelle Lösungen weisen immer noch große Einschränkungen auf. Der Autor schlägt eine neue Expressivitätstheorie vor, die auf homomorphem Zählen basiert.

  Artikel: Flow Matching on General Geometries

  • Institution: Meta

  • Autor: Ricky T. Q. Chen, Yaron Lipman

  • Papieradresse: https://openreview.net/forum?id=g7ohDlTITL

  Dieser Artikel untersucht das herausfordernde, aber wichtige Problem der generativen Modellierung auf allgemeinen geometrischen Mannigfaltigkeiten und schlägt einen praktischen und effizienten Algorithmus vor. Die Arbeit ist hervorragend präsentiert und für ein breites Aufgabenspektrum vollständig experimentell validiert.

  Artikel: Ist ImageNet 1 Video wert? Starke Bild-Encoder aus 1 langen, unbeschrifteten Video lernen

  • Institutionen: University of Central Florida, Google DeepMind, University of Amsterdam usw.

  • Autoren: Shashanka Venkataramanan, Mamshad Nayeem Rizve, Joao Carreira, Yuki M Asano, Yannis Avrithis

  • Papieradresse: https://openreview.net/forum?id=Yen1lGns2o

  Dieses Papier schlägt eine neuartige selbstüberwachte Bild-Vortrainingsmethode vor , also durch Training aus kontinuierlichen Lernvideos. Dieses Papier stellt sowohl einen neuen Datentyp als auch eine Methode zum Lernen aus neuen Daten vor.

  Artikel: Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction

  • Institution: City University of Hong Kong, Tencent AI Lab, Xi'an Jiaotong University usw.

  • Autor: Yichen Wu, Long-Kai Huang, Renzhen Wang, Deyu Meng und Ying Wei Reduktionsmethode. Die Methode funktioniert gut und hat nicht nur praktische Auswirkungen, sondern wird auch durch eine Bedauernsanalyse unterstützt.

  • Papier: Modell sagt Ihnen, was Sie verwerfen sollten: Adaptive KV-Cache-Komprimierung für LLMs

  Institution: University of Illinois at Urbana-Champaign, Microsoft

  Autoren: Suyu Ge, Yunan Zhang, Liyuan Liu, Minjia Zhang, Jiawei Han, Jianfeng Gao

  • Papieradresse: https://openreview.net/forum?id=uNrFpDPMyo

  • Dieser Artikel konzentriert sich auf das KV-Cache-Komprimierungsproblem (dieses Problem hat große Auswirkungen auf Transformer- basiertes LLM), mit einer einfachen Idee, die den Speicher reduziert und ohne teure Feinabstimmung oder Umschulung bereitgestellt werden kann. Diese Methode ist sehr einfach und hat sich als sehr effektiv erwiesen.

  • Aufsatz: Proving Test Set Contamination in Black-Box Language Models

  Institution: Stanford University, Columbia University

  Autor: Yonatan Oren, Nicole Meister, Niladri S. Chatterji, Faisal Ladhak, Tatsunori Hashimoto

  • Papieradresse: https://openreview.net/forum?id=KS8mIvetg2

  • Dieses Papier verwendet eine einfache und elegante Methode, um zu testen, ob überwachte Lerndatensätze in große Sprachmodelle im Training einbezogen wurden.

  • Papier: Robuste Agenten lernen kausale Weltmodelle

  Institution: Google DeepMind

  Autor: Jonathan Richens, Tom Everitt

  • Papieradresse: https://openreview.net/forum?id= pOoKI3ouv1

  • Dieser Artikel macht große Fortschritte bei der Schaffung der theoretischen Grundlage für das Verständnis der Rolle des kausalen Denkens bei der Fähigkeit eines Agenten, auf neue Domänen zu verallgemeinern, mit Auswirkungen auf eine Reihe verwandter Bereiche.

  • Artikel: Die mechanistische Grundlage von Datenabhängigkeit und abruptem Lernen in einer kontextbezogenen Klassifizierungsaufgabe

  Institution: Princeton University, Harvard University usw.

  Autor: Gautam Reddy

  • Papieradresse : https://openreview.net/forum?id=aN4Jf6Cx69

  • Dies ist eine zeitgemäße und äußerst systematische Studie, die die Beziehung zwischen kontextbezogenem Lernen und gewichtsbezogenem Lernen untersucht, während wir beginnen, diese Phänomene zu verstehen.

  • Aufsatz: Auf dem Weg zu einer statistischen Theorie der Datenauswahl unter schwacher Aufsicht

  Institution: Granica Computing

  Autor: Germain Kolossov, Andrea Montanari, Pulkit Tandon

  • Aufsatzadresse: https://openreview .net/forum?id=HhfcNgQn6p

  • Dieses Papier legt eine statistische Grundlage für die Auswahl von Datenteilmengen fest und identifiziert die Mängel gängiger Datenauswahlmethoden.

  • Referenzlink: https://blog.iclr.cc/2024/05/06/iclr-2024-outstanding-paper-awards/

Das obige ist der detaillierte Inhalt von7262 Beiträge wurden eingereicht, ICLR 2024 wurde ein Hit und zwei inländische Beiträge wurden für herausragende Beiträge nominiert.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!