Akademische Statistiken zu ML und NLP 2021: Google steht an erster Stelle, und der Experte für Reinforcement Learning, Sergey Levine, führt die Liste an

2021 ist ein sehr produktives Jahr für die Verarbeitung natürlicher Sprache (NLP) und maschinelles Lernen (ML). Jetzt ist es an der Zeit, die Arbeiten im Bereich NLP und ML des letzten Jahres zu zählen.

MAREK REI, ein Forscher für maschinelles Lernen und Verarbeitung natürlicher Sprache an der Universität Cambridge, fasste und analysierte klassische Arbeiten im Jahr 2021 und fasste die Statistiken der ML- und NLP-Veröffentlichungen im Jahr 2021 zusammen. Er führte eine Umfrage bei großen Konferenzen und Zeitschriften durch In der Branche der künstlichen Intelligenz gehören zur Analyse ACL, EMNLP, NAACL, EACL, CoNLL, TACL, CL, NeurIPS, AAAI, ICLR und ICML.

Die Analyse des Papiers wird mithilfe einer Reihe automatisierter Tools durchgeführt, die möglicherweise nicht perfekt sind und einige Mängel und Fehler enthalten können. Aus irgendeinem Grund begannen einige Autoren, ihre Artikel in verschleierter Form zu veröffentlichen, um jegliche Form der Duplizierung von Inhalten oder der automatisierten Inhaltsextraktion zu verhindern, und diese Artikel wurden vom Analyseprozess ausgeschlossen.

Werfen wir nun einen Blick auf die statistischen Ergebnisse von MAREK REI.

Basierend auf akademischen Konferenzstatistiken

Die Zahl der Einreichungen bei den meisten Konferenzen steigt weiter und bricht Rekorde. ACL scheint eine Ausnahme zu sein, AAAI hat fast ein Plateau erreicht, während NeurIPS immer noch ein stetiges Wachstum aufweist.

Basierend auf institutionellen Statistiken

Die führende Forschungseinrichtung in Bezug auf die Anzahl der im Jahr 2021 veröffentlichten Arbeiten ist zweifellos Google; an zweiter Stelle stehen CMU, Stanford University, Meta und MIT, gefolgt von Tsinghua Die Universität belegt den siebten Platz. Microsoft, CAS, Amazon, Tencent, Cambridge, Washington und Alibaba zeichnen sich durch einen beträchtlichen Anteil an Vorträgen auf NLP-Konferenzen aus, während sich andere Top-Organisationen offenbar hauptsächlich auf den ML-Bereich konzentrieren.

Nach den Daten von 2012 bis 2021 zu urteilen, belegte Google mit 2.170 veröffentlichten Artikeln den ersten Platz und übertraf damit die 2.013 von Microsoft veröffentlichten Artikel. Die CMU veröffentlichte 1.881 Artikel und belegte damit den dritten Platz.

Die meisten Institutionen steigern weiterhin ihre jährlichen Publikationszahlen. Früher ist die Zahl der von Google veröffentlichten Artikel linear gestiegen, und jetzt hat sich dieser Trend abgeschwächt, aber CMU hat letztes Jahr immer noch ein Plateau verzeichnet, aber dieses Jahr scheint IBM der Einzige zu sein; Unternehmen, das etwas mehr Artikel veröffentlicht. Im Niedergang begriffene Institutionen.

Vom Autor

Als nächstes werfen wir einen Blick auf die Forscher, die 2021 die meisten Arbeiten veröffentlicht haben. Sergey Levine (Assistenzprofessor für Elektrotechnik und Informatik, University of California, Berkeley) veröffentlichte 42 Artikel und belegte den ersten Platz; Graham Neubig (CMU) liegt auch bei der Anzahl der veröffentlichten Arbeiten relativ weit oben.

Mit Blick auf die Jahre 2012–2021 stehen die von Sergey Levine veröffentlichten Arbeiten ganz oben auf der Liste und dieses Jahr auf Platz eins: Yoshua Bengio (Montreal), Graham Neubig (CMU), Zhang Auch Yue (Westlake University), Zhou Ming (Chief Scientist of Innovation Works), Ting Liu (Harbin Institute of Technology) und andere rangieren im Hinblick auf die Anzahl der von ihnen veröffentlichten Arbeiten relativ weit oben.

Auch Mohit Bansals Anzahl an Veröffentlichungen stieg deutlich an und veröffentlichte 2021 31 Veröffentlichungen, was der Anzahl von Veröffentlichungen von Graham Neubig entspricht im Jahr 2020 gesunken, aber jetzt geht es wieder bergauf.

Statistik der als Erstautor veröffentlichten Arbeiten

Wissenschaftler, die die meisten Arbeiten veröffentlichen, sind in der Regel Postdocs und Betreuer. Im Gegensatz dazu handelt es sich bei Personen, die als Erstautoren mehr Arbeiten veröffentlichen, in der Regel um Personen, die tatsächliche Forschung betreiben.

Ramit Sawhney (Technischer Direktor von Tower Research Capital) hat im Jahr 2021 9 einflussreiche Artikel veröffentlicht, und Jason Wei (Google) und Tiago Pimentel (Doktorand an der Universität Cambridge) haben jeweils 6 einflussreiche Artikel veröffentlicht.

Der Verteilung von 2012 bis 2021 nach zu urteilen, veröffentlichten Ivan Vulić (Universität Cambridge) und Zeyuan Allen-Zhu (Microsoft) beide 24 einflussreiche Artikel als Erstautoren und belegten damit den ersten Platz; und Li Jiwei (Shannon Technology) belegten den zweiten Platz und veröffentlichten 23 bzw. 22 einflussreiche Artikel als Erstautoren. Ilias Diakonikolas (Universität Wisconsin-Madison) hat 15 NeurIPS-Artikel als Erstautor veröffentlicht.

Basierend auf nationalen Statistiken

Bei der Anzahl der Veröffentlichungen jedes Landes im Jahr 2021 weisen die Vereinigten Staaten die größte Anzahl an Veröffentlichungen auf, China und das Vereinigte Königreich belegen den 2. bzw. 3. Platz. In den Vereinigten Staaten und im Vereinigten Königreich macht NeurIPS den größten Anteil aus, während AAAI in China den größten Anteil ausmacht.

Die vertikalen Koordinaten von oben nach unten sind 500, 1000, 1500, 2000, 2500 usw.

Fast alle Länder mit dem höchsten Rang erhöhen weiterhin ihre Anzahl an Veröffentlichungen und werden auch weiterhin zunehmen Ihre Zahl an Veröffentlichungen im Jahr 2021 stellte einen neuen Rekord auf. Der Anstieg war für die Vereinigten Staaten am größten und baute ihren Vorsprung weiter aus.

In den USA führen Google, Microsoft und CMU erneut die Liste der Publisher an.

In China veröffentlichten die Tsinghua-Universität, die Chinesische Akademie der Wissenschaften und die Peking-Universität im Jahr 2021 die meisten Artikel.

Statistiken basierend auf Themenrelevanz

Die Visualisierung zeigt, dass diese Organisationen hauptsächlich aufgrund ihrer geografischen Nähe gruppiert sind, mit Unternehmen in der Mitte.

Wir können den Autor auch visualisieren, aber diese Visualisierung ist etwas schwer zu verstehen.

Nach Keyword-Statistik

Wir können auch den Anteil der Artikel grafisch darstellen, die bestimmte Schlüsselwörter enthalten, und verfolgen, wie sich dieser Anteil im Laufe der Zeit ändert.

Das Wort „neural“ scheint einen leichten Abwärtstrend zu haben, obwohl man es immer noch in 80 % der Arbeiten sieht. Gleichzeitig nehmen auch die Anteile von „rekurrent“ und „faltend“ ab, und das Wort „Transformer“ erscheint in mehr als 30 % der Arbeiten.

Wenn Sie sich nur das Wort „kontradiktorisch“ ansehen, werden wir feststellen, dass es im ICLR sehr häufig vorkommt und in fast der Hälfte der Arbeiten erwähnt wird. Der Anteil der „kontroversen“ Akteure bei ICML und NeurIPS scheint bereits zuvor seinen Höhepunkt erreicht zu haben, bei AAAI jedoch nicht.

In den letzten Jahren erfreut sich der Begriff „Transformer“ großer Beliebtheit. Es wird besonders häufig in NLP-Artikeln verwendet, da es in über 50 % der veröffentlichten Artikel enthalten ist, und seine Popularität nimmt auf allen ML-Konferenzen stetig zu.

Das obige ist der detaillierte Inhalt vonAkademische Statistiken zu ML und NLP 2021: Google steht an erster Stelle, und der Experte für Reinforcement Learning, Sergey Levine, führt die Liste an. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!