2021년 ML 및 NLP 학술 통계: Google이 1위, 강화 학습 전문가 Sergey Levine이 1위를 차지했습니다.

2021년은 자연어 처리(NLP)와 기계 학습(ML)에 있어 매우 생산적인 해입니다. 이제 작년에 NLP 및 ML 분야의 논문을 셀 차례입니다.

케임브리지대학교 머신러닝 및 자연어 처리 분야 연구원인 MAREK REI가 2021년 고전 논문을 정리, 분석하고 2021년 ML 및 NLP 출판물 통계를 정리했습니다. 주요 학회 및 저널을 대상으로 설문 조사를 실시했습니다. 인공지능 산업 분석에는 ACL, EMNLP, NAACL, EACL, CoNLL, TACL, CL, NeurIPS, AAAI, ICLR, ICML이 포함됩니다.

논문 분석은 일련의 자동화된 도구를 사용하여 완료되며, 이는 완벽하지 않을 수 있으며 일부 결함과 오류가 포함될 수 있습니다. 어떤 이유에서인지 일부 저자들은 어떠한 형태의 내용 복제나 자동화된 내용 추출을 방지하기 위해 난독화된 형태로 논문을 출판하기 시작했고, 이러한 논문은 분석 과정에서 제외되었습니다.

이제 MAREK REI 통계 결과를 살펴보겠습니다.

학술대회 통계 기준

대부분의 학회에 대한 제출물 수가 계속 증가하며 기록을 경신하고 있습니다. ACL은 예외인 것으로 보이며 AAAI는 거의 정체 상태에 있는 반면 NeurIPS는 여전히 꾸준한 성장을 유지하고 있습니다.

기관 통계 기준

2021년에 출판된 논문 수의 선두 연구 기관은 의심할 여지 없이 Google이며, CMU, Stanford University, Meta 및 MIT가 그 뒤를 따르고 있습니다. 대학은 7위를 차지했습니다. Microsoft, CAS, Amazon, Tencent, Cambridge, Washington 및 Alibaba는 NLP 컨퍼런스에서 상당한 비율의 논문을 발표한 반면 다른 상위 조직은 주로 ML 분야에 집중하는 것으로 보입니다.

2012년부터 2021년까지의 데이터로 볼 때 Google은 2,170개의 논문을 발표하여 Microsoft가 발표한 논문 2,013개를 능가하며 1위를 차지했습니다. CMU는 1,881편의 논문을 발표해 3위를 차지했습니다.

대부분의 기관에서는 연간 출판 횟수를 계속해서 늘려가고 있습니다. Google이 출판한 논문의 수는 선형적으로 증가했으며 이제는 이러한 추세가 완화되었지만 여전히 이전보다 더 많은 논문을 출판했습니다. CMU는 작년에 정체기를 겪었지만 올해 이를 만회한 것으로 보입니다. 약간 더 많은 논문을 출판하는 회사 감소하는 기관.

저자별

다음으로 2021년 가장 많은 논문을 게재한 연구자를 살펴보겠습니다. Sergey Levine(캘리포니아 버클리 대학교 전기 공학 및 컴퓨터 과학 조교수)은 42개의 논문을 발표하여 1위를 차지했습니다. Liu Tieyan(Microsoft), Zhou Jie(Tsinghua University), Mohit Bansal(University of North Carolina at Chapel Hill), Graham Neubig(CMU)도 출판 논문 수에서 상대적으로 높은 순위를 차지하고 있습니다.

2012~2021년을 보면 Sergey Levine이 발표한 논문이 지난해 6위에 올랐고, 올해는 Yoshua Bengio(몬트리올), Graham Neubig(CMU), Zhang이 1위에 올랐습니다. Yue(Westlake University), Zhou Ming(Innovation Works 수석 과학자), Ting Liu(Harbin Institute of Technology) 등도 발표한 논문 수에서 상대적으로 높은 순위를 차지했습니다.

Sergey Levine은 상당한 차이로 새로운 기록을 세웠습니다. Mohit Bansal의 논문 수도 크게 증가하여 2021년에는 Graham Neubig의 논문 수와 동일한 31편의 논문을 발표했습니다. 2020년, 하지만 이제 다시 일어났습니다.

제1저자로 게재된 논문 통계

가장 많은 논문을 게재한 연구자는 대개 박사후 연구원과 지도교수입니다. 반면에 제1저자로 더 많은 논문을 출판하는 사람들은 대개 실제 연구를 하는 사람들입니다.

Ramit Sawhney(Tower Research Capital 기술 이사)는 2021년에 9개의 영향력 있는 논문을 발표했으며, Jason Wei(Google)와 Tiago Pimentel(케임브리지 대학 박사 과정 학생)은 각각 6개의 영향력 있는 논문을 발표했습니다.

2012년부터 2021년까지의 분포를 보면 Ivan Vulić(케임브리지 대학교)와 Zeyuan Allen-Zhu(Microsoft)가 모두 24개의 영향력 있는 논문을 제1저자로 발표하여 공동 1위를 차지했습니다. Li Jiwei(Shannon Technology)가 2위를 차지했으며 각각 1저자로 영향력 있는 논문 23편과 22편을 발표했습니다. Ilias Diakonikolas(University of Wisconsin-Madison)는 15편의 NeurIPS 논문을 제1저자로 발표했습니다.

국가 통계 기준

2021년 국가별 출판물 수는 미국이 가장 많고, 중국은 2위, 영국은 3위를 차지했습니다. 미국과 영국에서는 NeurIPS가 가장 큰 비중을 차지하고, 중국에서는 AAAI가 가장 큰 비중을 차지합니다.

위에서 아래까지의 수직 좌표는 500, 1000, 1500, 2000, 2500 등입니다.

거의 모든 상위권 국가는 출판물 수를 계속 늘리고 있으며 앞으로도 계속 늘어날 것입니다. 2021년 출판 횟수는 새로운 기록을 세웠습니다. 증가폭은 미국이 가장 크며 선두를 더욱 확대했다.

미국에서는 Google, Microsoft, CMU가 다시 한번 출판사 순위 1위에 올랐습니다.

2021년 중국에서는 칭화대학교, 중국과학원, 북경대학교가 가장 많은 논문을 발표했습니다.

주제 관련성을 기반으로 한 통계

시각화를 보면 이러한 조직이 주로 지리적 근접성을 기준으로 함께 모여 있고 중간에 회사가 있음을 알 수 있습니다.

작가를 시각화할 수도 있지만 이 시각화는 조금 이해하기 어렵습니다.

키워드 통계별

또한 특정 키워드가 포함된 논문의 비율을 표시하고 이 비율이 시간에 따라 어떻게 변하는지 추적할 수도 있습니다.

"신경"이라는 단어는 약간 하향 추세에 있는 것 같지만 여전히 80%의 논문에서 볼 수 있습니다. 동시에 "recurrent"와 "convolutional"의 비율도 감소하고 있으며 "transformer"라는 단어가 30% 이상의 논문에 등장합니다.

"적대적"이라는 단어만 보면 ICLR에서 매우 흔하고 거의 절반의 논문에서 이를 언급한다는 것을 알 수 있습니다. ICML과 NeurIPS에서 "적대적"의 비율은 이전에 최고조에 달했던 것으로 보이지만 AAAI는 그렇지 않았습니다.

지난 몇 년 동안 "변압기"라는 용어가 매우 인기를 끌었습니다. 이는 특히 NLP 논문에서 널리 사용되며 출판된 논문의 50% 이상이 이를 포함하고 있으며 모든 ML 컨퍼런스에서 인기가 꾸준히 증가하고 있습니다.

위 내용은 2021년 ML 및 NLP 학술 통계: Google이 1위, 강화 학습 전문가 Sergey Levine이 1위를 차지했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!