華盛頓大學教授、ACL 2023 大會副主席Emily M. Bender 前幾天的一番言論引起了巨大的風波
arXiv壞了研究風氣,那我們每天都在刷的是什麼?哈佛大學教授Boaz Barak表示,arXiv在推動科學進步和擴大科學參與方面所做的工作比所有匿名幹預措施都要多得多,任何阻礙arXiv的政策不僅是愚蠢的,而且還會對科學進步和包容性產生反效果
深度學習巨人Yann LeCun 對他的觀點給予了支持
關於Emily Bender觀點的討論,實際上並不是完全沒有道理。畢竟arXiv是一個幾乎不審稿的平台:如果向學術會議或期刊投稿,審稿期間作者是匿名的,但在arXiv上人們總是不由自主地關注大牌研究機構和學者。然而,自從昨天發生的那件事以後,討論的風向已經完全傾向於一邊了
為了搞清楚事情的來龍去脈,我們需要先看一看昨天在AI社區中引起軒然大波的ACL論文被拒事件
紐約大學的博士後Naomi Saphra(師從Kyunghyun Cho)在9月4號在X上發帖,說她的論文剛被國際自然語言處理領域的頂級會議ACL拒稿了。這是她第一次和學生一起提交會議論文,之前她曾告訴第一作者,在自然語言處理方面的頂級會議相比機器學習會議更加友好。在審查期間,第一作者花了很多時間進行反駁,並且實驗結果也支持了論文的觀點
然而,最重要的是,她之所以被拒稿,是因為她在匿名政策截止日期之後才將論文提交到了arXiv上
Naomi Saphra 表示,ACL 這項政策對於新入門的研究人員造成了傷害,導致大會偏離了自然語言處理領域的初衷
#AI 頂會在審稿時禁止宣傳論文的爭議由來已久。如今,在 AI 圈內,許多人習慣天天盯著預印版論文平台 arXiv,因為這個平台每天都有更新。相較之下,一年一次的頂會研究公佈速度要慢得多
在AI領域,不看新聞就會落後
Naomi Saphra抱怨之後,人們開始批評當前令人討厭的AI頂會政策
著名的機器學習研究者、威斯康辛大學麥迪遜分校助理教授Sebastian Raschka進行了一番研究,他指出這篇論文被拒絕並不是因為錯過了大會論文提交截止時間幾分鐘,而是因為它晚了幾分鐘才提交到可選的第三方預印版論文平台。這是怎麼回事呢?
以前他們不允許人們在網路上討論自己的 arxiv 版論文,現在他們還能限制人們何時可以上傳到 arxiv 嗎?
Sebastian Raschka 找到的審查政策具體來說是這樣:在ACL 2023 上,以直接方式提交的論文存在一個匿名期,不准在預印版論文平台上署名公開。指定時間在 arXiv 上是指提交時間,而不是 arXiv 上的公開時間。 Sebastian Raschka發現的審查政策具體來說是這樣的:在ACL 2023上,以直接方式提交的論文將有一個匿名期,不允許在預印版論文平台上公開署名。指定時間是指在arXiv上提交的時間,而不是arXiv上的公開時間
高鐵盧大學教授Gautam Kamath 也表示,我認為這個政策非常愚蠢,而在實際執行過程中,情況比想像中更糟
現在他已經設定了一個上傳arXiv 的截止日期,Naomi Saphra 等人的論文因為錯過了這個時間而被拒稿。你看,他現在等同於給你設定了一個上傳arXiv 的截止日期,正是因為錯過了這個時間,Naomi Saphra 等人的論文被拒稿了
目前是大模型時代,NLP領域的競爭已經異常激烈。許多年輕研究者的職業生涯需要依靠自己的作品在高曝光的平台上展示,希望能得到更多人的引用。然而,目前人工智慧頂尖會議的做法與此相違背
依照ACL等會議的初衷,顯然是為了促進學術交流,推動先進研究的發展。然而令人痛苦的政策甚至讓人們開始對大會本身的權威性產生了質疑
符堯博士生表示,我今年參加了ACL和ICML兩個會議,兩者之間有著鮮明的對比。 ACL 2023的內容基本上已經過時了一年以上,而ICML的內容充滿了對未來的展望。年輕一代的自然語言處理研究者如果想要有未來,就應該將他們的文章投稿給NeurIPS/ICLR/ICML
有人提到,導致Saphra的論文被拒絕的規定可以追溯到2017年。與AI技術的快速發展相比,AI大會的規則發展似乎相對較慢
有趣的是,ACL其實並沒有改得很慢。自2022年起,ACL啟動了一種名為「滾動審查」的機制,即ACL滾動審查(ARR),類似於期刊的審稿流程。最近ACL對規定進行了修改,2024年的大會將完全取消直接投稿,所有人只能選擇進行ARR投稿
以前,直接提交到ACL大會的論文可以按照常規審查流程進行處理:一篇論文會由3位或更多審稿人進行評審,作者可以提交回復來回應審稿意見,一旦論文被接受,作者可以進行最終稿的編輯修改
在ARR機制下,投稿的論文將由高級領域主席(SAC)進行處理,作者可以提供回复,但不能修改論文。論文需要獲得所有審稿意見和綜合審稿意見(meta-review),並在截止日期之前提交到ACL上,內容不能修改,但可以附帶作者回复的內容。一旦提交到ACL後,不能再次修改並提交到ARR(除非大會給出錄用結果)
根據目前的趨勢來看,ACL 在未來將繼續朝著多輪審核的方向發展,以更加接近學術期刊的標準
目前我們還沒有找到一個解決方案來平衡優質研究和嚴謹公正的審查速度,儘管滾動審核已經盡力,但仍然無法與arXiv的速度相比
以下是參考內容:
請點擊以下連結查看有關2023 ACL主會議的詳細資訊:https://2023.aclweb.org/calls/main_conference/
以上是網友譴責ACL主席公開抨擊arXiv,建議考慮其他頂級會議的詳細內容。更多資訊請關注PHP中文網其他相關文章!