7262편의 논문이 제출되어 ICLR 2024가 히트를 쳤고, 국내 논문 2편이 우수논문 후보로 지명됐다.

올해는 총 5개의 우수논문상과 11개의 우수가작이 선정되었습니다.

ICLR은 International Conference on Learning Representation의 약자로 올해로 12회째를 맞이하는 컨퍼런스로 오스트리아 비엔나에서 5월 7일부터 11일까지 개최됩니다.

머신러닝 커뮤니티에서 ICLR은 딥러닝 분야의 거물이자 Turing Award 수상자인 Yoshua Bengio와 Yann LeCun이 주최하는 비교적 "젊은" 최고 학술 컨퍼런스입니다. 2013년에 막 첫 번째 세션이 열렸습니다. 그러나 ICLR은 학계 연구자들로부터 빠르게 폭넓은 인정을 받았으며 딥러닝 분야 최고의 학술 컨퍼런스로 간주됩니다.

이번 컨퍼런스에는 총 7262편의 논문이 접수되었고, 2260편의 논문이 접수되었으며 전체 합격률은 약 31%로, 작년(31.8%)과 동일했습니다. 또한 Spotlights 논문의 비율은 5%, Oral 논문의 비율은 1.2%입니다.

전년도에 비해 참가자 수나 논문 투고 수에서 ICLR의 인기가 크게 높아졌다고 할 수 있습니다. R 이전 ICLR 논문 자료에 대하여

최근 발표된 수상논문에서 학회에서는 우수논문상 5개와 명예노미상 11개를 선정하였습니다.

^{5개 우수 논문상}

우수 논문 수상자

논문: 확산 모델의 일반화는 기하학 적응 조화 표현에서 발생합니다.

논문 주소: https://openreview.net / pdf?id=ANvmVS2Yr0

기관: New York University, Collège de France

• 저자: Zahra Kadkhodaie, Florentin Guth, Eero P. Simoncelli, Stéphane Mallat

• 이 문서에서는 이미지 확산 모델을 일반화하고 중요 기억에 대한 심층 분석. 저자는 이미지 생성 모델이 메모리 입력에서 일반화 모드로 전환될 때 실증적으로 연구하고 이를 기하학적 적응 조화 표현을 통한 조화 분석 아이디어와 연결하고, 이 현상을 건축적 귀납 편향의 관점에서 더 설명합니다. 이 논문은 시각의 생성 모델에 대한 우리의 이해에서 누락된 핵심 부분을 다루며 향후 연구에 큰 영향을 미칩니다.

• 논문: 학습 대화형 실제 세계 시뮬레이터

논문 주소: https://openreview.net/forum?id=sFyTZEqmUY

기관: UC Berkeley, Google DeepMind, MIT, Al University of Berta

• 저자: Sherry Yang, Yilun Du, Kamyar Ghasemipour, Jonathan Tompson, Leslie Kaelbling, Dale Schuurmans, Pieter Abbeel

• 로봇의 기본 모델을 교육하기 위해 여러 소스에서 데이터를 집계하는 것은 장기적인 작업입니다. 목표. 서로 다른 로봇은 서로 다른 감각운동 인터페이스를 가지고 있기 때문에 이는 대규모 데이터 세트에 대한 훈련에 상당한 어려움을 안겨줍니다.

• UniSim

  은 시각적 인식 및 제어에 대한 텍스트 설명을 기반으로 하는 통합 인터페이스를 활용하여 데이터를 집계하고 비전 및 언어의 최신 발전을 활용하는 이러한 방향의 중요한 단계이자 엔지니어링 업적입니다. .

요약하자면, 이 기사에서는 생성 모델을 통해 실제 상호 작용을 학습하기 위한 범용 시뮬레이터인 UniSim을 살펴보고 범용 시뮬레이터를 구축하기 위한 첫 단계를 밟습니다. 예를 들어 UniSim은 "서랍 열기"와 같은 상위 수준 지침과 하위 수준 지침의 시각적 결과를 시뮬레이션하여 인간과 에이전트가 세계와 상호 작용하는 방식을 시뮬레이션할 수 있습니다.

이 문서는 대량의 데이터(인터넷 텍스트-이미지 쌍, 탐색, 인간 활동, 로봇 동작 등의 풍부한 데이터, 시뮬레이션 및 렌더링 데이터 포함)를 조건부 비디오 생성 프레임워크에 결합합니다. 그런 다음 이 문서는 다양한 축을 따라 풍부한 데이터를 신중하게 조정함으로써 UniSim이 다양한 데이터 축의 경험을 성공적으로 병합하고 데이터를 넘어 일반화하여 정적 장면과 개체의 세밀한 모션 제어를 통해 풍부한 상호 작용을 가능하게 할 수 있음을 보여줍니다.

아래 그림 3에서 볼 수 있듯이 UniSim은 주방 장면에서 손 씻기, 그릇 가져오기, 당근 자르기, 손 말리기 등 다양한 동작을 시뮬레이션할 수 있습니다. 그림 3은 두 가지 탐색 장면을 보여줍니다. ㅋㅋㅋ >                                              그림 3의 오른쪽 하단에 있는 탐색 장면

논제: 처음부터 훈련하지 마세요: 긴 시퀀스 모델의 공정한 비교에는 데이터 기반 사전 변수가 필요합니다

종이 주소: https://openreview.net/forum?id=PdaPky8MUn

기관: Tel Aviv University, IBM

작성자: Ido Amos, Jonathan Berant, Ankit Gupta

이 문서에서는 장기 시퀀스 종속성을 모델링하기 위해 최근 제안된 상태 공간 모델 및 변환기 아키텍처.

놀랍게도 저자는 변환기 모델을 처음부터 훈련하면 성능이 과소평가되고 사전 훈련 및 미세 조정 설정을 통해 상당한 성능 향상을 달성할 수 있다는 사실을 발견했습니다. 이 논문은 단순성과 체계적인 통찰력에 중점을 두는 점에서 탁월합니다.

• 논문: 개별 걷기-점프 샘플링을 통한 단백질 발견

• 논문 주소: https://openreview.net/forum?id=zMPHKOmQNb

기관: Genentech, New York University

저자: Nathan C. Frey, Dan Berenberg, Karina Zadorozhny, Joseph Kleinhenz, Julien Lafrance-Vanasse, Isidro Hotzel, Yan Wu, Stephen Ra, Richard Bonneau, 조경현, Andreas Loukas, Vladimir Gligorijevic, Saeed Saremi

이 논문은 단백질 서열 생성 모델의 시의적절하고 중요한 적용인 서열 기반 항체 설계의 문제를 다루고 있습니다.

이를 위해 저자는 특히 개별 단백질 서열 데이터 처리 문제를 겨냥한 혁신적이고 효과적인 새로운 모델링 방법을 소개합니다. In silico 방법을 검증하는 것 외에도 저자는 시험관 내 항체 결합 친화도를 측정하기 위해 광범위한 습식 실험실 실험을 수행하여 생성된 방법의 효율성을 입증했습니다.

• 논문: Vision Transformers Need Registers

• 논문 주소: https://openreview.net/forum?id=2dnO3LLiJ1

기관: Meta et al

저자: Timoth 에 다르세 t. Maxime Oquab, Julien Mairal, Piotr Bojanowski

이 문서는 낮은 정보 배경 영역에서 높은 표준 토큰을 특징으로 하는 비전 변환기 네트워크의 기능 맵에서 아티팩트를 식별합니다.

저자는 이 현상이 어떻게 발생하는지에 대한 주요 가설을 제안하고 이러한 추적을 해결하기 위해 추가 등록 토큰을 사용하는 간단하면서도 우아한 솔루션을 제공함으로써 다양한 작업에서 모델의 성능을 향상시킵니다. 이 작업을 통해 얻은 통찰력은 다른 응용 분야에도 영향을 미칠 수 있습니다.

• 이 논문은 훌륭하게 작성되었으며 연구 수행의 좋은 예를 제공합니다. "문제를 식별하고, 문제가 발생하는 이유를 이해한 다음 해결책을 제안합니다."

• 11개의 우수 가작

5개의 뛰어난 논문 논문, ICLR 2024에서는 또한 11개의 Honorable Mentions을 선정했습니다.

• 논문: 대규모 언어 모델에서 다루기 힘든 추론을 상각

기관: 몬트리올 대학교, 옥스퍼드 대학교

저자: Edward J Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio , Nikolay Malkin

논문 주소: https://openreview.net/forum?id=Ouj6p4ca60

이 논문은 베이지안 추론의 관점에서 대규모 언어 모델의 자동 회귀 디코딩에 대한 대안을 제안합니다. 후속 연구에 영감을 줄 수 있습니다.

• Paper : 확률 론적 최적화를 통한 정상 형식 게임에서 내쉬 평형을 근사화 : DeepMind

• Author : Ian Gemp, Luke Marris, Georgios Piliouras

• paper 주소 : https : // Open review .net/forum?id=cc8h3I3V4E

이 문서는 효율적이고 확장 가능한 Nash 솔버 개발의 중요한 문제를 해결하는 데 크게 기여하는 매우 명확하게 작성된 문서입니다.

논문: Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness

• 기관: Peking University, Beijing Zhiyuan Artificial Intelligence Research Institute

• 저자: Zhang Bohang Gai Jingchu Du Yiheng Ye Qiwei Hedi Wang Liwei

• 논문 주소: https://openreview.net/forum?id=HSKaGOi7Ar

GNN의 표현 능력은 중요한 주제이며, 현재 솔루션에는 여전히 큰 한계가 있습니다. 저자는 동형 계산에 기반한 새로운 표현성 이론을 제안합니다.

Paper: Flow Matching on General Geometries

• 기관: Meta

• 저자: Ricky T. Q. Chen, Yaron Lipman

• 논문 주소: https://openreview.net/forum?id=g7ohDlTITL

이 논문은 일반 기하 다양체에 대한 생성 모델링의 까다롭지만 중요한 문제를 탐구하고 실용적이고 효율적인 알고리즘을 제안합니다. 이 논문은 훌륭하게 제시되었으며 다양한 작업에 대해 완전히 실험적으로 검증되었습니다.

Paper: ImageNet이 1개의 비디오에 가치가 있나요? 1개의 긴 라벨이 없는 비디오에서 강력한 이미지 인코더를 학습하세요

• 기관: University of Central Florida, Google DeepMind, University of Amsterdam 등

• 저자: Shashanka Venkataramanan, Mamshad Nayeem Rizve, Joao Carreira, Yuki M Asano, Yannis Avrithis

• 논문 주소: https://openreview.net/forum?id=Yen1lGns2o

본 논문은 새로운 자기 지도 영상 사전 훈련 방법을 제안합니다. 즉, 연속 비디오를 통해 학습하여 학습합니다. 이 논문은 새로운 유형의 데이터와 새로운 데이터로부터 학습하는 방법을 모두 제공합니다.

논문: Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction

• 기관: City University of Hong Kong, Tencent AI Lab, Xi'an Jiaotong University 등

• 저자: Yichen Wu, Long-Kai Huang, Renzhen Wang, Deyu Meng, and Ying Wei

• 논문 주소: https://openreview.net/forum?id=TpD2aG1h0D

저자는 새로운 메타 연속 학습 분산을 제안했습니다. 감소 방법. 이 방법은 효과적이며 실질적인 영향을 미칠 뿐만 아니라 후회 분석에서도 뒷받침됩니다.

논문: 모델이 알려 주는 폐기 항목: LLM용 적응형 KV 캐시 압축

• 기관: University of Illinois at Urbana-Champaign, Microsoft

• 저자: Suyu Ge, Yunan Zhang, Liyuan Liu, Minjia Zhang, Jiawei Han, Jianfeng Gao

• 논문 주소: https://openreview.net/forum?id=uNrFpDPMyo

이 기사는 KV 캐시 압축 문제에 중점을 둡니다(이 문제는 Transformer에 큰 영향을 미칩니다. based LLM)은 메모리를 줄이고 비용이 많이 드는 미세 조정이나 재교육 없이 배포할 수 있는 간단한 아이디어를 가지고 있습니다. 이 방법은 매우 간단하며 매우 효과적인 것으로 입증되었습니다.

논문: 블랙박스 언어 모델의 테스트 세트 오염 증명

• 기관: Stanford University, Columbia University

• 저자: Yonatan Oren, Nicole Meister, Niladri S. Chatterji, Faisal Ladhak, Tatsunori Hashimoto

• 논문 주소: https://openreview.net/forum?id=KS8mIvetg2

이 논문은 지도 학습 데이터 세트가 훈련의 대규모 언어 모델에 포함되었는지 테스트하기 위해 간단하고 우아한 방법을 사용합니다.

논문: 강력한 에이전트 학습 인과 세계 모델

• 기관: Google DeepMind

• 저자: Jonathan Richens, Tom Everitt

• 논문 주소: https://openreview.net/forum?id= pOoKI3ouv1

이 논문은 다양한 관련 분야에 대한 시사점과 함께 에이전트의 새로운 영역으로 일반화하는 능력에서 인과 추론의 역할을 이해하기 위한 이론적 토대를 마련하는 데 큰 진전을 이루었습니다.

논문: 상황 내 분류 작업에서 데이터 의존성과 갑작스러운 학습의 기계적 기초

• 기관: 프린스턴 대학교, 하버드 대학교 등

• 저자: Gautam Reddy

• 논문 주소 : https://openreview.net/forum?id=aN4Jf6Cx69

이것은 우리가 이러한 현상을 이해하기 시작하면서 상황 내 학습과 가중치 내 학습 사이의 관계를 탐구하는 시의적절하고 매우 체계적인 연구입니다.

논문: 약한 감독 하에서 데이터 선택의 통계적 이론을 향하여

• 기관: Granica Computing

• 저자: Germain Kolossov, Andrea Montanari, Pulkit Tandon

• 논문 주소: https://openreview .net/forum?id=HhfcNgQn6p

이 문서는 데이터 하위 집합 선택을 위한 통계적 기초를 확립하고 널리 사용되는 데이터 선택 방법의 단점을 식별합니다.

^{참조링크: https://blog.iclr.cc/2024/05/06/iclr-2024-outstanding-paper-awards/}

위 내용은 7262편의 논문이 제출되어 ICLR 2024가 히트를 쳤고, 국내 논문 2편이 우수논문 후보로 지명됐다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!