AI頂會審稿人竟是本科生？女物理學家發推吐槽，圈內大佬紛紛按讚

你以為的學術頂尖會議期刊審稿人，都是來自各自領域的大牛？

事實上，你辛苦幾個月做的研究論文，審查者很有可能是一群大學部學生或研究生？

最近，來自洛桑聯邦理工學院（École polytechnique fédérale de Lausanne (EPFL)）的女性物理學家Lenka Zdeborova就在推特上吐槽頂會的審查者機制。

研究所的申請人已經有頂會審稿經驗？而且數量還不少。

我正在審查EPFL電腦科學研究生院的申請，我看到許多申請人都有擔任頂級ML會議審查人的經驗，我想知道如果同行評審的很大一部分是由本科生完成的，我們為什麼還要費心去進行同儕評審！ ？

Lenka Zdeborová是EPFL的物理學和電腦科學教授，她領導電腦學院的統計物理學科。

她是Journal of Physics A、Physical Review E、Physical Review X、SIMODS、Machine Learning: Science and Technology、Information and Inference等眾多學術期刊的編委。

Lenka擅長的領域是將統計物理學的概念（例如高級平均場方法、複製方法和相關訊息傳遞演算法）應用於機器學習、訊號處理、推理和最佳化中的問題。

有些圈內人士也表示贊同，研究生一年級的學生竟然已經可以在頂會審稿，而且沒有人覺得這是個問題。

你以為的審稿人是這些學界大佬，事實上其實是他們帶的本科生或研究生......

知乎答主「卡卡卡比」認為這種現像已經是司空見慣了，從ICLR到AAAI,審查者的水平參差不齊，保不齊你的paper就落到了某個本科生手中。

抱怨完審稿人水平之後，關鍵還是要思考如何能寫出讓大家make sense並且能兼顧多數人審稿taste的工作。

#來源：卡卡卡卡比

另一位答主「歇斯底里i」也認為，審稿者很少懂你的領域，所以你要把論文的結果清晰明了地呈現出來，讓別人看不懂就是你的問題了。

#來源：歇斯底里i

頂會審查到底怎麼審

那麼頂會審稿究竟怎麼審？

同儕審查（Peer-review）是現代科學的基石，幾乎所有機器學習(ML) 頂會（如NeurIPS、ICML、AAAI）都依賴它來決定提交的論文是否與社區相關，以及原創性是否足以在那裡發表。

不幸的是，隨著過去十年提交文章數量呈指數級增長，審查品質也以同樣快的速度下降。

如果您曾經向其中一個會議提交過論文，在為您認為是一個絕妙的想法而努力工作了幾個月之後，您得到的是糟糕的、無用的，而且（更糟的是) 諷刺的評論意味著你將不得不重新經歷一次提交過程，而沒有任何關於你的論文存在什麼問題的提示。

圖靈獎得主Geoffrey Hinton在2018年接受Wired 雜誌採訪時給出了造成這種情況的原因之一：

現在如果你提交的論文有一個全新的想法，它根本就沒有機會被接受，因為這些年輕的初級審查員根本無法理解。

或它會遇到一位高級審稿人，他審閱了太多的論文，第一次看並不理解，並認為它一定是胡說八道。我認為這真的很糟糕。

知乎答主電光幻影煉金術對審查被拒絕做了個假設，如果你發現你的論文因為一些概念問題審稿人沒理解被給了低分，有三種可能：

#（1）審查者是大學生/低年級博士生，他看不懂這些概念。

（2）審稿者是個超級大佬，他很重視基礎概念問題，他已經不做這個領域多年。

（3）審稿人是個超級大佬，但他沒有時間，他交給了他的低年級博士學生來審稿。所以說，學術圈就是一個輪迴，本科生的表現和超級大佬最像。

• 你以為理想中的審查者：

#週一打開論文，看看摘要，速讀一遍，評估一下novelty。週二細細看方法，挑挑毛病。週三看一下實驗，看看baseline的相關論文，查對實驗細節。週四開始寫審稿意見，決定審稿分數。週五補充一些審查意見，提交審查分數。

• 實際審查者：

#週一上午八點開啟審查論文，讀了讀摘要，感覺沒什麼novelty。看了看圖片，感覺不看正文看不明白。翻到後面看了看實驗數字，感覺提升也不大。看看方法，四頁好多看不完。下午還有事，給個5分走人吧。週一上午十一點半結束審稿工作。

我們再來看看ICML2022的審查規則：

• 選題意義：

#這部分評審的目的是向MR（Meta-reviewer）和作者展示您對這篇論文的理解程度以及您對這篇論文的看法。

• 寫作創新、相關性、重要性：

它們與我們的社群相關嗎？它們是新的嗎？如果答案是否定的（或部分否，例如，引用早期論文中的精確結果），則需要一個精確的理由，以便作者知道如何修復論文。

• Soundness:

Ideally, a paper should make claims that are well supported by theoretical arguments or experimental results.

• Quality of Writing:

Is the paper well organized and clearly written? Does it explain the novelty and results well? Does the paper contain enough information to support its claims?

• References:

Is the paper appropriately placed within contemporary literature? If not, please specify what is missing. Note that because papers have page limits, judgment is often required as to whether results should be mentioned.

These are the review standards for reviewers in the first stage. Those who meet the review standards can enter the second stage.

Papers that pass the first stage will be reviewed by the meta-reviewer (MR) and the project chair. Afterwards, there will be additional reviewers to ensure the quality of the paper review.

And why the level of reviewers at the top reviewers now is uneven, and there are even a group of undergraduates and graduate students. The reason is mainly due to the industry It is developing too fast, and the number of submissions is increasing much faster than the rate of cultivating qualified reviewers.

This not only results in a smaller proportion of people with the ability to review manuscripts, but also less time that capable reviewers can devote to each article.

以上是AI頂會審稿人竟是本科生？女物理學家發推吐槽，圈內大佬紛紛按讚的詳細內容。更多資訊請關注PHP中文網其他相關文章！