2021年ML與NLP學術統計：Google斷層第一，強化學習大牛Sergey Levine位居榜首

2021 年是自然語言處理（NLP）和機器學習（ML）非常高產的一年，現在是時候統計去年 NLP 和 ML 領域的論文了。

來自劍橋大學機器學習和自然語言處理的研究員MAREK REI 總結分析了2021 年經典論文，並歸納了2021 年ML 和NLP 出版物的統計數據，他對人工智慧產業的主要會議和期刊進行了分析，它們包括ACL、EMNLP、NAACL、EACL、CoNLL、TACL、CL、NeurIPS、AAAI、ICLR、 ICML。

論文的分析是使用一系列自動化工具完成的，可能並不完美，會存在一些紕漏和錯誤。出於某些原因，一些作者開始以模糊的形式發布他們的論文，以防止任何形式的內容複製或自動提取內容，分析過程排除了這些論文。

現在我們來看看 MAREK REI 統計結果。

以學術會議統計數據

大多數會議的投稿量不斷上升並打破紀錄。 ACL 似乎是個例外， AAAI 幾乎趨於平穩，而 NeurIPS 仍保持穩定成長。

以機構統計

#2021 發表論文數斷層式領先的研究機構當屬谷歌；微軟排名第二；CMU、史丹佛大學、Meta 和MIT 排名緊隨其後，清華大學位居第七。微軟、CAS、亞馬遜、騰訊、劍橋、華盛頓和阿里巴巴在 NLP 會議上擁有相當大比例的論文脫穎而出，而其他頂級組織似乎主要關注 ML 領域。

從2012-2021 年的數據來看，Google發表了2170 篇論文位居第一，超過了微軟發表的2013 篇論文。 CMU 發表了 1881 篇論文，排名第三。

大多數機構也持續增加其年度出版數量。谷歌發表論文數量以前呈線性增長，現在這一趨勢有所緩解，但仍然比以前發表的論文多；CMU 去年有一個平台期，但今年已經彌補了這一點；IBM 似乎是唯一一家發表論文略有下滑的機構。

以作者統計

接下來，讓我們來看看2021年發表論​​文最多的研究人員。 Sergey Levine（加州大學柏克萊分校電機工程與電腦科學系助理教授）發表了42 篇論文，排名第一；劉鐵岩（微軟）、周杰（清華大學）、Mohit Bansal（北卡羅來納大學教堂山分校）、Graham Neubig（CMU）發表論文數量排名也比較前。

綜觀2012-2021 年，Sergey Levine 發表的論文位居榜首，去年他排名第六，今年一躍排名第一；Yoshua Bengio（蒙特利爾）、Graham Neubig (CMU)、張岳(西湖大學)、周明(創新工場首席科學家)、 Ting Liu (哈爾濱工業大學) 等人發表論文數量排名也比較靠前。

Sergey Levine 以相當大的優勢創造了新的記錄；Mohit Bansal 的論文數量也大幅增加，2021年發表了31 篇論文，與Graham Neubig 持平；Yoshua Bengio 的論文數量在2020 年有所減少，但現在又上升了。

以第一作者發表論文統計

發表論文數量最多的研究者通常是博士後研究員和指導教授。相較之下，以第一作者身份發表論文較多的通常是從事實際研究的人。

Ramit Sawhney（Tower Research Capital 技術總監）在2021 年發表了9 篇有影響力的論文，Jason Wei（Google）、Tiago Pimentel （劍橋大學博士生）分別發表了6 篇比較有影響力的論文。

從2012-2021 年分佈來看，Ivan Vulić （劍橋大學）和Zeyuan Allen-Zhu（微軟）都以第一作者身份發表了24 篇比較有影響力的論文，並列第一；Yi Tay （Google）和李紀為（香儂科技）排名第二，分別以第一作者身份發表了23 篇和22 篇論文比較有影響力的論文；Ilias Diakonikolas （威斯康辛大學麥迪遜分校）以第一作者身份發表了15 篇NeurIPS 論文。

以國家統計

2021 年各國出版數量，美國出版品數量最多，中國和英國分別位列第2、第3。在美國和英國，NeurIPS 所佔比例最大，而 AAAI 在中國佔比最大。

縱座標由上到下分別為500、1000、1500、2000、2500，依次類別推

#幾乎所有排名靠前的國家都在繼續增加其出版物數量，並在2021 年創造了新的記錄。對美國來說，這一成長是最大的，進一步擴大了領先優勢。

在美國，Google、微軟和 CMU 再次位居出版數量之首。

在中國，清華大學、中國科學院和北京大學在 2021 年發表的論文最多。

以主題相關度統計

透過視覺化得出，這些組織主要是根據地理位置的接近程度聚集在一起的，公司位於中間。

我們也可以將作者視覺化，不過這種視覺化有些難以理解。

以關鍵字統計

我們也可以繪製包含特定關鍵詞的論文比例，並追蹤這一比例隨時間的變化。

「neural」一詞似乎有輕微的下降趨勢，雖然你仍可以在 80% 的論文中見到它。同時，「recurrent」和「convolutional」的比例也在下降，而「transformer」一詞出現在了 30% 以上的論文中。

如果單看「adversarial」一詞，我們會發現它在 ICLR 中很常見，幾乎一半的論文都提到了它。 ICML 和 NeurIPS 中的「adversarial」比例似乎之前已經達到頂峰，而 AAAI 還沒有。

在過去的幾年裡，「transformer」一詞變得非常流行。它在 NLP 論文中應用尤其廣泛，超過 50% 的已發表論文都包含它，在所有的 ML 會議中，它的受歡迎程度也在穩步上升。

以上是2021年ML與NLP學術統計：Google斷層第一，強化學習大牛Sergey Levine位居榜首的詳細內容。更多資訊請關注PHP中文網其他相關文章！