华盛顿大学教授、ACL 2023 大会副主席 Emily M. Bender 前些天的一番言论引起了巨大的风波
arXiv坏了研究风气,那我们每天都在刷的是什么?哈佛大学教授Boaz Barak表示,arXiv在推动科学进步和扩大科学参与方面所做的工作比所有匿名干预措施都要多得多,任何阻碍arXiv的政策不仅是愚蠢的,而且还会对科学进步和包容性产生反作用
深度学习巨头 Yann LeCun 对他的观点给予了支持
关于Emily Bender观点的讨论,实际上并不是完全没有道理。毕竟arXiv是一个几乎不审稿的平台:如果向学术会议或期刊投稿,审稿期间作者是匿名的,但在arXiv上人们总是不由自主地关注大牌研究机构和学者。然而,自从昨天发生的那件事以后,讨论的风向已经完全倾向于一边了
为了搞清楚事情的来龙去脉,我们需要先看一看昨天在AI社区中引起轩然大波的ACL论文被拒事件
纽约大学的博士后 Naomi Saphra(师从 Kyunghyun Cho)在9月4号在X上发帖,说她的论文刚被国际自然语言处理领域的顶级会议ACL拒稿了。这是她第一次和学生一起提交会议论文,之前她曾告诉第一作者,在自然语言处理方面的顶级会议相比机器学习会议更加友好。在审稿期间,第一作者花了很多时间进行反驳,并且实验结果也支持了论文的观点
然而,最重要的是,她之所以被拒稿,是因为她在匿名政策截止日期之后才将论文提交到了arXiv上
Naomi Saphra 表示,ACL 这一政策对于新入门的研究人员造成了伤害,导致大会偏离了自然语言处理领域的初衷
AI 顶会在审稿时禁止宣传论文的争议由来已久。如今,在 AI 圈内,很多人都习惯天天盯着预印版论文平台 arXiv,因为这个平台每天都有更新。相比之下,一年一次的顶会研究公布速度要慢得多
在AI领域,不看新闻就会落后
Naomi Saphra抱怨之后,人们开始批评当前令人讨厌的AI顶会政策
著名的机器学习研究者、威斯康星大学麦迪逊分校助理教授Sebastian Raschka进行了一番研究,他指出这篇论文被拒并不是因为错过了大会论文提交截止时间几分钟,而是因为它晚了几分钟才提交到可选的第三方预印版论文平台。这是怎么回事呢?
以前他们不允许人们在网络上讨论自己的 arxiv 版论文,现在他们还能限制人们何时可以上传到 arxiv 吗?
Sebastian Raschka 找到的审稿政策具体来说是这样:在 ACL 2023 上,以直接方式提交的论文存在一个匿名期,不准在预印版论文平台上署名公开。指定时间在 arXiv 上是指提交时间,而不是 arXiv 上的公开时间。 Sebastian Raschka发现的审稿政策具体来说是这样的:在ACL 2023上,以直接方式提交的论文将有一个匿名期,不允许在预印版论文平台上公开署名。指定时间是指在arXiv上提交的时间,而不是arXiv上的公开时间
高铁卢大学教授 Gautam Kamath 还表示,我认为这个政策非常愚蠢,而在实际执行过程中,情况比想象中更糟糕
现在他已经设定了一个上传 arXiv 的截止日期,Naomi Saphra 等人的论文因为错过了这个时间而被拒稿。你看,他现在等同于给你设定了一个上传 arXiv 的截止日期,正是因为错过了这个时间,Naomi Saphra 等人的论文被拒稿了
当前是大模型时代,NLP领域的竞争已经异常激烈。许多年轻研究者的职业生涯需要依靠自己的作品在高曝光的平台上展示,希望能够得到更多人的引用。然而,目前人工智能顶级会议的做法与此相悖
按照ACL等会议的初衷,显然是为了促进学术交流,推动先进研究的发展。然而令人痛苦的政策甚至让人们开始对大会本身的权威性产生了质疑
符尧博士生表示,我今年参加了ACL和ICML两个会议,两者之间存在鲜明的对比。ACL 2023的内容基本上已经过时了一年以上,而ICML的内容充满了对未来的展望。年轻一代的自然语言处理研究者如果想要有未来,就应该将他们的文章投稿给NeurIPS/ICLR/ICML
有人提到,导致Saphra的论文被拒绝的规定可以追溯到2017年。与AI技术的快速发展相比,AI大会的规则发展似乎相对较慢
有趣的是,ACL实际上并没有改得很慢。自从2022年起,ACL启动了一种名为「滚动审稿」的机制,即ACL滚动审稿(ARR),类似于期刊的审稿流程。最近ACL对规定进行了修改,2024年的大会将完全取消直接投稿,所有人只能选择进行ARR投稿
以前,直接提交到ACL大会的论文可以按照常规审稿流程进行处理:一篇论文会由3位或更多审稿人进行评审,作者可以提交回复来回应审稿意见,一旦论文被接受,作者可以进行最终稿的编辑修改
在ARR机制下,投稿的论文将由高级领域主席(SAC)进行处理,作者可以提供回复,但不能修改论文。论文需要获得所有审稿意见和综合审稿意见(meta-review),并在截止日期之前提交到ACL上,内容不能修改,但可以附带作者回复的内容。一旦提交到ACL后,不能再次修改并提交到ARR(除非大会给出录用结果)
根据目前的趋势来看,ACL 在未来将继续朝着多轮审核的方向发展,以更加接近学术期刊的标准
目前我们还没有找到一个解决方案来平衡优质研究和严谨公正的审稿速度,尽管滚动审核已经尽力,但仍然无法与arXiv的速度相比
以下是参考内容:
请点击以下链接查看有关2023 ACL主会议的详细信息:https://2023.aclweb.org/calls/main_conference/
以上是网友谴责ACL主席公开抨击arXiv,建议考虑其他顶级会议的详细内容。更多信息请关注PHP中文网其他相关文章!