Statistiques académiques 2021 ML et NLP : Google se classe premier et l'expert en apprentissage par renforcement Sergey Levine est en tête de liste

2021 est une année très productive pour le traitement du langage naturel (NLP) et l'apprentissage automatique (ML). Il est maintenant temps de compter les articles dans le domaine du NLP et du ML l'année dernière.

MAREK REI, chercheur en apprentissage automatique et traitement du langage naturel de l'Université de Cambridge, a résumé et analysé des articles classiques en 2021 et a résumé les statistiques des publications ML et NLP en 2021. Il a mené une enquête auprès des principales conférences et revues dans l'industrie de l'intelligence artificielle Pour l'analyse, ils incluent ACL, EMNLP, NAACL, EACL, CoNLL, TACL, CL, NeurIPS, AAAI, ICLR, ICML.

L'analyse du document est complétée à l'aide d'une série d'outils automatisés, qui peuvent ne pas être parfaits et peuvent contenir des défauts et des erreurs. Pour une raison quelconque, certains auteurs ont commencé à publier leurs articles sous une forme obscurcie pour empêcher toute forme de duplication de contenu ou d'extraction automatisée de contenu, et ces articles ont été exclus du processus d'analyse.

Jetons maintenant un œil aux résultats statistiques de MAREK REI.

Basé sur les statistiques des conférences académiques

Le nombre de soumissions à la plupart des conférences continue d'augmenter et de battre des records. ACL semble être une exception, AAAI a presque atteint un plateau, tandis que NeurIPS maintient toujours une croissance régulière.

Sur la base des statistiques institutionnelles

La principale institution de recherche en termes de nombre d'articles publiés en 2021 est sans aucun doute Google, qui se classe deuxième, la CMU, l'Université de Stanford, Meta et le MIT sont suivis de près, suivis de Tsinghua ; Université Classée septième. Microsoft, CAS, Amazon, Tencent, Cambridge, Washington et Alibaba se distinguent par une proportion importante d'articles lors des conférences NLP, tandis que d'autres grandes organisations semblent se concentrer principalement sur le domaine du ML.

À en juger par les données de 2012 à 2021, Google s'est classé premier avec 2 170 articles publiés, dépassant les 2 013 articles publiés par Microsoft. La CMU a publié 1 881 articles, se classant troisième.

La plupart des institutions continuent d'augmenter leur nombre de publications annuelles. Le nombre d'articles publiés par Google augmentait de manière linéaire, et maintenant cette tendance s'est atténuée, mais l'entreprise publie toujours plus d'articles qu'auparavant ; la CMU a connu un plateau l'année dernière, mais IBM semble être le seul à l'avoir rattrapé cette année ; entreprise qui publie un peu plus d’articles. Institutions en déclin.

Par auteur

Ensuite, jetons un coup d'œil aux chercheurs qui ont publié le plus d'articles en 2021. Sergey Levine (professeur adjoint de génie électrique et d'informatique, Université de Californie, Berkeley) a publié 42 articles, se classant premier ; Liu Tieyan (Microsoft), Zhou Jie (Université Tsinghua), Mohit Bansal (Université de Caroline du Nord à Chapel Hill), Graham Neubig (CMU) occupe également une place relativement élevée dans le nombre d'articles publiés.

En ce qui concerne la période 2012-2021, les articles publiés par Sergey Levine sont en tête de liste. Il s'est classé sixième l'année dernière et est passé au premier cette année ; Yue (Westlake University), Zhou Ming (scientifique en chef d'Innovation Works), Ting Liu (Harbin Institute of Technology) et d'autres se classent également relativement bien en termes de nombre d'articles publiés.

Sergey Levine a établi un nouveau record avec une marge considérable ; le nombre d'articles de Mohit Bansal a également augmenté de manière significative, publiant 31 articles en 2021, ce qui est le même que le nombre d'articles de Graham Neubig ; en baisse en 2020, mais maintenant il est à nouveau en hausse.

Statistiques des articles publiés en tant que premier auteur

Les chercheurs qui publient le plus d'articles sont généralement des postdoctorants et des superviseurs. En revanche, les personnes qui publient davantage d’articles en tant que premiers auteurs sont généralement des personnes qui effectuent de véritables recherches.

Ramit Sawhney (directeur technique de Tower Research Capital) a publié 9 articles influents en 2021, et Jason Wei (Google) et Tiago Pimentel (doctorant à l'Université de Cambridge) ont chacun publié 6 articles influents.

À en juger par la répartition de 2012 à 2021, Ivan Vulić (Université de Cambridge) et Zeyuan Allen-Zhu (Microsoft) ont tous deux publié 24 articles influents en tant que premiers auteurs, se classant premiers ; Jiwei (Shannon Technology) s'est classé deuxième, publiant respectivement 23 et 22 articles influents en tant que premiers auteurs ; Ilias Diakonikolas (Université du Wisconsin-Madison) Il a publié 15 articles NeurIPS en tant que premier auteur.

Sur la base des statistiques nationales

En nombre de publications par pays en 2021, les États-Unis comptent le plus grand nombre de publications, la Chine et le Royaume-Uni se classant respectivement 2e et 3e. Aux États-Unis et au Royaume-Uni, NeurIPS représente la plus grande proportion, tandis que l'AAAI représente la plus grande proportion en Chine.

Les coordonnées verticales de haut en bas sont 500, 1000, 1500, 2000, 2500, etc.

Presque tous les pays les mieux classés continuent d'augmenter leur nombre de publications et continueront d'augmenter leur nombre de publications au cours de l’année 2021 a établi un nouveau record. L'augmentation a été la plus importante pour les États-Unis, renforçant ainsi leur avance.

Aux États-Unis, Google, Microsoft et CMU sont une fois de plus en tête de liste des éditeurs.

En Chine, l'Université Tsinghua, l'Académie chinoise des sciences et l'Université de Pékin ont publié le plus d'articles en 2021.

Statistiques basées sur la pertinence du sujet

La visualisation montre que ces organisations sont principalement regroupées en fonction de la proximité géographique, avec des entreprises au milieu.

On peut aussi visualiser l'auteur, mais cette visualisation est un peu difficile à comprendre.

Par statistiques de mots-clés

Nous pouvons également tracer la proportion d'articles contenant des mots-clés spécifiques et suivre l'évolution de cette proportion au fil du temps.

Le mot « neuronal » semble suivre une légère tendance à la baisse, même si on peut encore le voir dans 80 % des journaux. Dans le même temps, les proportions de « récurrents » et de « convolutionnels » diminuent également, et le mot « transformateur » apparaît dans plus de 30 % des articles.

Si vous regardez seul le mot « contradictoire », nous constaterons qu'il est très courant dans l'ICLR, et près de la moitié des journaux le mentionnent. La proportion de « contradictoires » dans ICML et NeurIPS semble avoir déjà atteint un sommet, contrairement à l'AAAI.

Ces dernières années, le terme « transformateur » est devenu très populaire. Il est particulièrement largement utilisé dans les articles sur la PNL, avec plus de 50 % des articles publiés le contenant, et sa popularité ne cesse d'augmenter dans toutes les conférences ML.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!