7,262 件の論文が投稿され、ICLR 2024 は好評を博し、国内論文 2 件が優秀論文にノミネートされました。

今年は優秀論文賞5件と佳作11件が選出されました。

ICLRはInternational Conference on Learning Representationsの略で、今年で12回目となり、5月7日から11日までオーストリアのウィーンで開催されました。

ICLR は、機械学習コミュニティの中で比較的「若い」トップ学術会議であり、深層学習の巨人であり、チューリング賞受賞者の Yoshua Bengio 氏と Yann LeCun 氏が主催しており、2013 年に最初のセッションが開催されたばかりです。しかし、ICLR はすぐに学術研究者から広く認知されるようになり、深層学習に関する最高の学術会議とみなされています。

この会議には合計 7,262 件の論文が投稿され、2,260 件の論文が採択されました。全体の採択率は約 31% で、昨年 (31.8%) と同じでした。 さらに、Spotlights 論文の割合は 5%、Oral Paper の割合は 1.2% です。

例年に比べて、参加者数にしても論文投稿数にしても、ICLRの人気は大きく高まったと言えます。 R 以前の ICLR 論文データについては

最近発表された受賞論文の中で、会議は優秀論文賞 5 件と名誉ノミネート賞 11 件を選出しました。

^{5優れた紙賞授与済み紙の受賞者}

ペーパー：拡散モデルの一般化は、幾何学的に適応性のある高調波表現から生じる紙の住所：https：//openreview.net/ pdf?id=ANvmVS2Yr0

機関: ニューヨーク大学、コレージュ・ド・フランス

著者: Zahra Kadkhodaie、Florentin Guth、Eero P. Simoncelli、Stéphane Mallat

この記事は、画像拡散モデルと重要なことを一般化しています。記憶の詳細な分析。著者らは、画像生成モデルがメモリ入力から一般化モードに切り替わるタイミングを実証的に研究し、それを幾何学的適応調和表現による調和解析の考え方と結びつけ、アーキテクチャ誘導バイアスの観点からこの現象をさらに説明します。この論文は、視覚の生成モデルの理解において欠けていた重要な部分をカバーしており、将来の研究に大きな意味を持ちます。

論文: インタラクティブな現実世界シミュレーターの学習

• 論文のアドレス: https://openreview.net/forum?id=sFyTZEqmUY

• 機関: UC Berkeley、Google DeepMind、MIT、Alベルタ大学

著者: Sherry Yang、Yilun Du、Kamyar Ghasemipour、Jonathan Tompson、Leslie Kaelbling、Dale Schuurmans、Pieter Abbeel

ロボットの基本モデルをトレーニングするために複数のソースにわたるデータを集約するのは長期的な作業です。ゴール。ロボットごとに感覚運動インターフェースが異なるため、大規模なデータセットにわたるトレーニングには大きな課題が生じます。

UniSim

は、この方向への重要なステップであり、データを集約するための視覚認識と制御のテキスト記述に基づく統一インターフェイスを活用し、ロボットシミュレータを訓練するために開発された視覚と言語の最新の進歩を活用するエンジニアリングの偉業です。 。

• 要約すると、この記事は、生成モデルを通じて現実世界のインタラクションを学習するための汎用シミュレーターである UniSim について調査し、汎用シミュレーターの構築に向けた第一歩を踏み出します。たとえば、UniSim は、「引き出しを開ける」などの高レベルの命令と、低レベルの命令の視覚的な結果をシミュレートすることで、人間とエージェントが世界とどのように対話するかをシミュレートできます。
  この論文では、大量のデータ (インターネットのテキストと画像のペア、ナビゲーション、人間の活動、ロボットの動作などからの豊富なデータ、シミュレーションやレンダリングからのデータを含む) を条件付きビデオ生成フレームワークに結合します。次に、さまざまな軸に沿って豊富なデータを慎重に調整することで、この論文は、UniSim がデータのさまざまな軸からのエクスペリエンスをうまく統合し、データを超えて一般化して、静的なシーンとオブジェクトのきめ細かいモーション制御を通じて豊かなインタラクションを可能にすることを示しています。

下の図 3 に示すように、UniSim は、キッチンのシーンで手を洗う、ボウルを取る、ニンジンを切る、手を乾かすなどの一連の豊富なアクションをシミュレートできます。図 3 は 2 つのナビゲーション シーンを示しています。 bigure図3の右下にあるナビゲーションシーンestesis：ゼロからトレーニングしないでください：長いシーケンスモデルの公正な比較には、データ駆動型のpriorsepaperが必要ですアドレス: https://openreview.net/forum?id=PdaPky8MUn



機関: テルアビブ大学、IBM

著者: Ido Amos、Jonathan Berant、Ankit Gupta

このペーパーでは、機能について詳しく説明します。長期シーケンス依存関係をモデル化するために最近提案された状態空間モデルと変換器アーキテクチャの概要。

驚くべきことに、著者らは、変圧器モデルを最初からトレーニングするとそのパフォーマンスが過小評価されることになり、事前トレーニングと設定の微調整によって大幅なパフォーマンスの向上が達成できることを発見しました。この論文は、簡潔さと体系的な洞察に重点を置いている点で優れています。 論文: 離散ウォークジャンプサンプリングによるタンパク質の発見

論文のアドレス: https://openreview.net/forum?id=zMPHKOmQNb

• 機関: Genentech, New York University

• 著者: ネイサン・C・フライ、ダン・ベレンバーグ、カリーナ・ザドロジニー、ジョセフ・クラインヘンツ、ジュリアン・ラフランス＝ヴァナス、イシドロ・ホッツェル、ヤン・ウー、スティーブン・ラー、リチャード・ボノー、キョンヒョン・チョー、アンドレアス・ロウカス、ウラジミール・グリゴリジェヴィッチ、サイード・サレミ

• この論文では、タンパク質配列生成モデルのタイムリーかつ重要な応用である配列ベースの抗体設計の問題について取り上げます。

この目的のために、著者は、特に離散タンパク質配列データの処理の問題を対象とした、革新的で効果的な新しいモデリング手法を紹介します。インシリコでの方法の検証に加えて、著者らは、インビトロの抗体結合親和性を測定するために広範な湿式実験室実験を実施し、作成した方法の有効性を実証した。
論文: ビジョントランスフォーマーにはレジスタが必要

論文のアドレス: https://openreview.net/forum?id=2dnO3LLiJ1

• 機関: Meta et al

• 著者: ティモシー・ダースt. Maxime Oquab、Julien Mairal、Piotr Bojanowski

• この論文では、低情報背景領域の高ノルム トークンによって特徴付けられる、ビジョン トランスフォーマー ネットワークの特徴マップ内のアーティファクトを特定します。

著者らは、この現象がどのように発生するかについて重要な仮説を提案し、追加のレジスタ トークンを使用してこれらのトレースに対処するシンプルかつ洗練されたソリューションを提供します。これにより、さまざまなタスクでモデルのパフォーマンスが向上します。この作業から得られた洞察は、他のアプリケーション分野にも影響を与える可能性があります。

この論文は素晴らしく書かれており、「問題を特定し、それが発生する理由を理解し、解決策を提案する」という研究の実施の良い例を提供しています

11 件の佳作に加えて

5 つの優れた論文に加えて、 ICLR 2024でも11件の佳作が選ばれました。

論文: 大規模言語モデルにおける扱いにくい推論の償却

• 機関: モントリオール大学、オックスフォード大学

• 著者: Edward J Hu、Moksh Jain、Eric Elmoznino、Younesse Kaddar、Guillaume Lajoie、Yoshua Bengio , Nikolay Malkin

• 論文アドレス: https://openreview.net/forum?id=Ouj6p4ca60
この論文は、ベイズ推論の観点から大規模言語モデルにおける自己回帰復号の代替案を提案しています。それは追跡調査のきっかけとなるかもしれない。

論文: 確率的最適化による正規形ゲームにおけるナッシュ均衡の近似

機関: DeepMind

著者: Ian Gemp、Luke Marris、Georgios Piliouras

• 論文のアドレス: https://開くreview .net/forum?id=cc8h3I3V4E

• これは、効率的でスケーラブルなナッシュ ソルバーの開発という重要な問題の解決に大きく貢献する、非常に明確に書かれた論文です。

  論文: Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness

  • 機関: 北京大学、北京知源人工知能研究所

  • 著者: Zhang Bohang Gai Jingchu Du Yiheng Ye Qiwei Hedi Wang

  • 論文アドレス: https://openreview.net/forum?id=HSKaGOi7Ar

  GNN の表現能力は重要なテーマですが、現在のソリューションには依然として大きな制限があります。著者は、準同型計数に基づいた新しい表現理論を提案します。

  論文: 一般幾何学上のフローマッチング

  • 機関: Meta

  • 著者: Ricky T. Q. Chen、Yaron Lipman

  • 論文のアドレス: https://openreview.net/forum?id=g7ohDlTITL

  この論文では、一般的な幾何学的多様体における生成モデリングの困難だが重要な問題を調査し、実用的で効率的なアルゴリズムを提案します。この論文は素晴らしく提示されており、幅広いタスクに関して完全に実験的に検証されています。

  論文: ImageNet は 1 つのビデオに相当しますか? 1 つのラベルのない長いビデオから強力な画像エンコーダーを学習します

  • 機関: セントラルフロリダ大学、Google DeepMind、アムステルダム大学など

  • 著者: Shashanka Venkataramanan、 Mamshad Nayeem Rizve、Joao Carreira、Yuki M Asano、Yannis Avrithis

  • 論文アドレス: https://openreview.net/forum?id=Yen1lGns2o

  この論文は、新しい自己教師あり画像事前トレーニング方法を提案していますつまり、連続ビデオから学習することでトレーニングします。この論文は、新しいタイプのデータと新しいデータから学習する方法の両方に貢献します。

  論文: メタ継続学習の再考: 分散削減によるオンラインヘシアン近似の暗黙的な強化

  • 機関: 香港城市大学、Tencent AI Lab、西安交通大学など

  • 著者: Yichen Wu、Long-Kai Huang、Renzhen Wang、Deyu Meng、および Ying Wei

  • 論文アドレス: https://openreview.net/forum?id=TpD2aG1h0D

  著者らは、新しいメタ連続学習分散を提案しました削減方法。この方法は優れたパフォーマンスを発揮し、実用的な効果があるだけでなく、リグレス分析によってもサポートされています。

  論文: モデルが何を破棄すべきかを教えてくれる: LLM の適応型 KV キャッシュ圧縮

  • 機関: イリノイ大学アーバナシャンペーン校、Microsoft

  • 著者: Suyu Ge、Yunan Zhang、Liyuan Liu、Minjia Zhang、Jiawei Han、Jianfeng Gao

  • 論文アドレス: https://openreview.net/forum?id=uNrFpDPMyo

  この記事は、KV キャッシュ圧縮問題に焦点を当てています (この問題は、Transformer に大きな影響を与えます)。 LLM ベース) を使用しており、メモリを削減するシンプルなアイデアにより、コストのかかる微調整や再トレーニングを行わずに導入できます。この方法は非常に簡単で、非常に効果的であることが証明されています。

  論文: ブラックボックス言語モデルにおけるテストセットの汚染の証明

  • 機関: スタンフォード大学、コロンビア大学

  • 著者: Yonatan Oren、Nicole Meister、Niladri S. Chatterji、Faisal Ladhak、Tetsunon 橋本

  • 論文アドレス: https://openreview.net/forum?id=KS8mIvetg2

  この論文では、教師あり学習データセットがトレーニング中の大規模な言語モデルに含まれているかどうかをテストするために、シンプルで洗練された方法を使用しています。

  論文: ロバストエージェントは因果世界モデルを学習する

  • 機関: Google DeepMind

  • 著者: Jonathan Richens、Tom Everitt

  • 論文のアドレス: https://openreview.net/forum?id= pOoKI3ouv1

  この論文は、エージェントが新しい領域に一般化する能力における因果推論の役割を理解するための理論的基礎を築く上で大きな進歩をもたらし、さまざまな関連分野に影響を与えています。

  論文: インコンテキスト分類タスクにおけるデータ依存性と突然学習の機構的基礎

  • 機関: プリンストン大学、ハーバード大学など

  • 著者: Gautam Reddy

  • 論文のアドレス: https://openreview.net/forum?id=aN4Jf6Cx69

  これは、これらの現象を理解し始めるにつれて、コンテキスト内学習とウェイト内学習の関係を調査する、タイムリーで非常に体系的な研究です。

  論文: 弱い監視下でのデータ選択の統計理論に向けて

  • 機関: Granica Computing

  • 著者: Germain Kolossov、Andrea Montanari、Pulkit Tandon

  • 論文のアドレス: https://openreview .net/forum?id=HhfcNgQn6p

  この論文では、データ サブセット選択の統計的基礎を確立し、一般的なデータ選択方法の欠点を特定します。

  ^{参考リンク：https://blog.iclr.cc/2024/05/06/iclr-2024-outstanding-paper-awards/}

以上が7,262 件の論文が投稿され、ICLR 2024 は好評を博し、国内論文 2 件が優秀論文にノミネートされました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。