聊天截圖曝出AI頂會審稿潛規則！ AAAI 3000塊即可strong accept？

正值AAAI 2023論文截止提交之際，知乎上突然出現了一張AI投稿群的匿名聊天截圖。

其中有人聲稱，自己可以提供「3000塊一個strong accept」的服務。

爆料一出，頓時引起了網友們的公憤。

不過，不要急。

知乎大佬「微調」表示，這大機率只是「口嗨」而已。

根據「微調」透露，打招呼和團體犯案這個是任何領域都不能避免的問題。隨著openreview的興起，cmt的各種缺點也越來越清楚，未來留給小圈子操作的空間會變小，但永遠會有空間。因為這是個人的問題，不是投稿系統和機制的問題。引入open review和bid 隨機匹配可能會有幫助。

而且他的個人觀點是，文章發在NeurIPS還是AAAI還是IJCNN都無所謂，充分宣傳讓大家知道你在做什麼就行了，citation會證明這東西有沒有用。

那麼，這種風氣是否在現今的頂會論文審查中普遍存在呢？又是否已經有人因此「名利雙收」了呢？

萬物皆可發家致富

在討論之前，我們先來簡單說一下這個bid到底是啥。

為了方便分配審查人，有的會議會設定一個bidding環節讓審查者自己選擇有興趣的文章。然後系統就可以參考這些審稿人的選擇進行論文的分配了。不過，審稿者在這個階段只能看到論文標題和摘要。

而這其中，可就大有文章了。

各種匿名爆料

另有知乎匿名網友表示，格局小了吧，有微信聊天截圖為證，其實連best paper都是能互相bid的，這點小事算個啥。

有網友表示，今年投稿AAAI時，還一本正經地讓填conflicted users、conflicting domain等等，但實際上作用不大。

這位知乎匿名用戶甚至提出了令人拍案叫絕的解決方案：用圖神經網路、推薦系統等自動挖掘出以各個導師為中心的關係網絡，再檢查各大會議的bid數據、審稿數據、給分情況，這樣異常節點和關係就可以輕而易舉地挖出來，因為它們在圖神經網絡裡像恆星一樣耀眼。

或乾脆舉辦個頂會bid資料探勘大賽。

不過也有網友指出，這個所謂「3千塊包SA」，其實是有bug的：

要知道，就算你強推了，其他審稿人一個borderline加一個weak reject，直接白給。畢竟這東西又不是算平均分錄取的。而且分歧很大的話，AC也不可能給的。

所以就算要給錢，也要用在「刀刃」上。這麼一想，那就得找SPC或AC了。但這時，你就需要考慮兩個問題了（其實是一個）：第一，人家這種level的，你給3000塊就想搞定？第二，如果人家真給你搞定了，只會收你3000？

當然，除了吐槽外，還有一位「見義勇為」的senior reviewer表示，如果自己看到有審稿人給了「水文」高分，就會直接strong reject ，然後寫小作文狠狠地diss，而且現在連模板都已經擬好了。

據說，所有會議和期刊都有類似的問題，只是比例和嚴重程度不同。此文中就不便多講了。

某匿名使用者的建議，屬實有才

審查隨機性有多大

AI頂會審稿的隨機性究竟有多大呢？

在2021年，NeurIPS就曾經做過一次審查一致性實驗。

根據港中文CS博士「電光幻影煉金術」的影片介紹，在這個實驗中，同一份稿件有10%的機率會送給兩組審稿人，兩組審稿者互相不知道對方的存在。

兩組審查員會分別進行評分，有兩個領域主席對評分的結果作出決定。這樣就可以定量分析，同一份稿件會有多大機率得到不同的審稿結果。

結果顯示，第一組審查者accept、第二組審查者reject的機率是52%，這機率已經超過一半了。

而如果第一組審查者reject，第二組審查者也reject的機率是83%。

這個結果和李飛飛的觀點也是符合的。

李飛飛就曾發表過一篇很著名的討論審稿的文章，提出了這兩個觀點：1.審稿過程是高度隨機的。 2.差的論文會得到差的審稿意見，這是隨時間和隨機性都不會改變的黃金規則。

NeurIPS官方也進行了這樣一個比較，每篇論文不進行審稿，隨機決定，然後根據接收率和分歧率製成一條曲線，橫軸是接收率，縱軸是分歧率。

圖中可見，如果接收率非常低或非常高，那麼分歧率是不大的。

而中間的分歧率是最大的，如果說接收率是50%的話，分歧是最大的。

AAAI和IJCAI都是採用這種模式，用高拒絕率，來換取較小的隨機性。

最後，「電光幻影煉金術」給出這樣一份關於人工智慧審查的結論小結。

風口浪尖上的AAAI

當初，AAAI 2022的審查結果就飽受爭議。

有人在社群媒體上表示，自己的論文得到了4個accept，最後還是被拒了。

下面這位作者表示，4位審查人均給出了「偏向接收」或「接收」的意見，在審查意見中也都是正面評價：idea有趣、模型足夠solid、實驗和分析也夠全面。

但最終結果是：拒稿。

對AAAI 2023來說，採用的依然是兩階段 雙盲的審查形式。

在第1階段中，每篇論文會得到兩位審查者。如果收到的兩份意見都是負面的，那麼這篇論文就會被直接拒絕。其餘的將進入第2階段。

在第2階段中，每篇論文會得到至少兩位新的審查者。在新的審查者提交自己的意見之前，他們是不會看到第1階段的審查結果的。

而進入第2階段的論文作者，可以針對所有的審查意見進行回應。程序委員會和高級程序委員會將會根據作者的回饋進行討論。

至於具體的操作方法，可以參考下面的這篇論文。

該論文提出了一種新穎的審查者-論文匹配方法，並且已經在AAAI 2021、ICML 2022、AAAI 2022和IJCAI 2022上得到了應用（全部或部分）。

論文網址：https://arxiv.org/abs/2202.12273最後只能說，目前看來投稿時能整的花活不多，投稿人唯一能做的就是盡量寫出好文章，讓自己的paper成為NeurIPS實驗曲線裡最右邊的那一小搓。

#

以上是聊天截圖曝出AI頂會審稿潛規則！ AAAI 3000塊即可strong accept？的詳細內容。更多資訊請關注PHP中文網其他相關文章！