頂會是否應該降低接收門檻？用博弈論探討最優審稿和決策機制

近年來，人工智慧領域對於大型電腦會議審查機制的批評與日俱增，這一切背後的矛盾源於論文作者、會議主辦單位和審查者三方並不一致的利益：

• 論文作者希望他們的論文被會議接收；
• #會議主辦單位希望接收更多的優質論文以提高會議的聲譽（會議品質）;
• 審查者則希望避免過多的審稿工作量（審稿壓力）。

因此，如何在論文數量大幅增加的大環境下權衡會議品質和審查壓力是達到三方利益均衡的核心問題。去年，來自人工智慧領域的學者針對如何改善會議審查和決策機制這一問題提出了眾多看法和建議，這些想法被匯總為 23 頁的Google文件。其中一個想法十分有趣並且得到了多人認同：

文件連結：https: //docs.google.com/document/d/1j7Mn2ZkquSzWJ_EzxdXBP3z_JQtrSeUa-CQ0gotAuYw/mobilebasic

這個想法源自於這樣一個反直覺的現象，稱之為重投的現象，稱之為重投的現象，稱之為重投的現象，稱之為重投悖論（resubmission paradox）：

每年有大量論文會被拒收（人工智慧頂會例如NeurIPS 接收率常年低於30%），其中大部分論文會在僅有微調甚至完全沒有改動的情況下參與重投，最終總會被同一會議或同級的會議接收。既然大部分論文終究會被接收，那為什麼不降低論文的接收門檻使得更多論文在經過更少次數的重投後就可以被接收？這樣就可以避免同一篇論文被審查者反覆閱讀進而降低審查壓力。

儘管這個想法看起來很合理，本文作者提出用賽局理論模型描述作者和會議之間的互動，並對這個想法給出了否定的回答，研究論文已被Economics and Computation (2022) 接收。在這個模型下，本文了討論不同的審查和決策機制在權衡會議品質和審查壓力中的表現，例如以下問題：

• ##如何確定最優的接收門檻？
• 是否應該增加一篇論文的審查人數？
• 提升審稿品質有什麼好處？
• 是否應該作者同時提供論文的以往審查意見？
• …

論文連結：https://arxiv.org/pdf/2303.09020v1.pdf

1. 模型概述

本文將作者向學術會議提交論文並審查的過程建模為重複博弈，具體流程如下：

首先，每個作者都有一篇論文準備提交。在每一輪投稿中，作者進行二選一決策：將論文提交到頂會還是 sure bet（例如聲望較低的二類會議）。提交到頂會和sure bet 的結果取決於審查機制和論文品質：

• 頂會有一定機率接收論文，一旦接收，作者會獲得較大的收益;
• sure bet 保證論文一定接收，但帶來的利益較小。

其中，頂會的決策完全取決於審稿人的評審意見， 例如設定一個接收閾值，當且僅當平均審查分數高於閾值時接收該論文，而作者的收益隨著重投次數指數折減。

頂會承諾一個審查/ 決策機制，作者針對該機製做出最佳策略；而頂會則需要在考慮作者最佳回應策略的前提下，設計出能權衡會議品質和審稿壓力的最優機制。

2. 主要結論

利用上述建模方法，本文得到一些重要結論，包括：

1）作者的最優策略

#在一個簡化的模型中（更複雜的模型詳見原文），本文做出如下假設：作者知道其論文的真實質量，會議的決策是無記憶的（每輪審查的決策僅取決於該輪審稿人的意見），並且作者有無窮次重投機會。在這種情況下，作者存在一個閾值最優策略：

• 如果論文品質高於閾值，作者將選擇投稿頂會，並且無論經歷多少次拒稿，作者都會選擇重投，直到中稿；
• 如果論文品質低於閾值，作者將立即選擇sure bet。

通常作者的提交閾值 Θ 低於會議的接收閾值 τ，如下圖所示。

以上結論可以用來解釋重投悖論：為什麼接收更多論文不能從本質上降低審稿壓力？這是因為降低會議的接收閾值 τ 會同時降低作者的提交閾值 Θ，進而吸引更多低品質論文的提交。如下圖所示，如果接收門檻降低，一部分從前選擇投稿二類會議的論文（紫色區域）如今選擇投稿頂會。

2）會議品質與審查壓力

#頂會的審查/決策機制需要權衡會議質量和審稿壓力，二者不可兼得。

• 會議品質= 所有被接收論文的品質總和
• 審查壓力= 一篇論文從投稿到最終被接收被審查次數的期望值

改變接收門檻會同時改變會議品質和審查壓力（如下圖）。

圖為會議品質（縱座標）和審查壓力（橫座標）關於接收閾值的變化曲線，σ 為審稿人噪音的標準差。

以下三種情況可以得到會議品質和審查壓力之間更優的權衡（達到相同的會議品質只需更小的審查壓力）：

• 更好的審查品質——— 審查者噪音更低；
• 更低的頂會聲譽——— 相比sure bet，頂會帶來的效益更低；
• 更短見的作者——— 作者收益在多輪重投下有更大的減減。

3. 結論

本文旨在呼籲學術會議改進審查和決策機制時應考慮不同機制對論文作者帶來的激勵，更多有趣的結論詳見論文原文，例如論文接收率主要受什麼因素影響？作者在不能準確知道自己論文品質的情況下的最優策略是什麼？要求作者提供論文的以往審查意見對會議有什麼樣的影響？

當然，本文的理論模型在不同層面上有許多限制：例如本文沒有考慮審稿壓力對審查品質的負回饋效應，以及會議品質對作者收益的正回饋效應，並且認為論文品質不會在拒稿過程中提高等等。對於會議同儕審查系統的討論和改進不會止步於此，從博弈的角度理解會議審稿機制尤為重要，歡迎有興趣的讀者查看論文原文或致信文章作者，以討論更多研究細節。

以上是頂會是否應該降低接收門檻？用博弈論探討最優審稿和決策機制的詳細內容。更多資訊請關注PHP中文網其他相關文章！