Patutkah Dinghui menurunkan ambang penerimaan? Gunakan teori permainan untuk meneroka semakan optimum dan mekanisme membuat keputusan

Dalam beberapa tahun kebelakangan ini, bidang kecerdasan buatan semakin mengkritik mekanisme semakan persidangan komputer berskala besar Percanggahan di sebalik semua ini berpunca daripada kepentingan pengarang kertas, penganjur persidangan dan penyemak yang tidak konsisten:

• Pengarang kertas berharap kertas kerja mereka akan diterima oleh persidangan; daripada persidangan itu (Kualiti persidangan);
• Oleh itu, cara mengimbangi kualiti persidangan dan mengkaji tekanan dalam persekitaran di mana bilangan kertas kerja telah meningkat dengan ketara adalah isu teras untuk mencapai keseimbangan antara kepentingan ketiga-tiga pihak. Tahun lepas, sarjana dari bidang kecerdasan buatan mengemukakan banyak pendapat dan cadangan tentang cara memperbaik semakan persidangan dan mekanisme membuat keputusan. Idea ini diringkaskan dalam dokumen Google 23 halaman. Salah satu idea yang sangat menarik dan telah diiktiraf oleh ramai orang:

Pautan dokumen : https: //docs.google.com/document/d/1j7Mn2ZkquSzWJ_EzxdXBP3z_JQtrSeUa-CQ0gotAuYw/mobilebasic

Idea ini berpunca daripada fenomena kontra-intuitif seperti ini, yang dipanggil fenomena kontra-intuitif ini Paradoks pelaburan semula (paradoks penyerahan semula):

Sebilangan besar kertas akan ditolak setiap tahun (kadar penerimaan persidangan kecerdasan buatan teratas seperti NeurIPS adalah kurang daripada 30% sepanjang tahun) , dan kebanyakan kertas kerja ini akan ditolak dengan hanya Menyertai penyerahan semula dengan pelarasan kecil atau malah tiada perubahan langsung akan sentiasa diterima oleh persidangan atau persidangan yang sama pada tahap yang sama. Memandangkan kebanyakan kertas kerja akhirnya akan diterima, mengapa tidak menurunkan ambang penerimaan supaya lebih banyak kertas boleh diterima selepas lebih sedikit penyerahan semula? Ini akan menghalang kertas yang sama daripada dibaca berulang kali oleh pengulas dan mengurangkan tekanan semakan.

Walaupun idea ini kelihatan sangat munasabah, penulis artikel ini mencadangkan untuk menggunakan model teori permainan untuk huraikan penulis dan pertemuan itu dan memberikan jawapan negatif kepada idea ini. Kertas penyelidikan telah diterima oleh Economics and Computation (2022). Di bawah model ini, artikel ini membincangkan prestasi mekanisme semakan dan membuat keputusan yang berbeza dalam menimbang kualiti mesyuarat dan tekanan semakan, seperti isu berikut:

Cara menentukan ambang penerimaan Cemerlang terbaik?

Adakah bilangan penyemak di atas kertas perlu ditambah?

• Apakah faedah meningkatkan kualiti semakan?
• Adakah pengarang juga perlu memberikan ulasan ulasan sebelumnya untuk kertas itu?
• ……
Pautan kertas: https://arxiv.org/pdf/2303.09020v1.pdf
1. :

Pertama, setiap pengarang mempunyai kertas kerja sedia untuk diserahkan. Dalam setiap pusingan penyerahan, pengarang membuat satu daripada dua keputusan: menyerahkan kertas itu ke persidangan teratas atau pertaruhan pasti (seperti persidangan kategori kedua yang kurang berprestij). Keputusan penyerahan ke persidangan IM dan pastinya bergantung pada mekanisme semakan dan kualiti kertas:

IM akan mempunyai kebarangkalian tertentu untuk menerima kertas tersebut diterima, penulis akan menerima faedah yang lebih besar ;

pasti pertaruhan menjamin bahawa kertas itu akan diterima, tetapi faedahnya akan lebih kecil.

Antaranya, keputusan untuk meluluskan semakan bergantung sepenuhnya pada pendapat semakan penyemak, seperti menetapkan ambang penerimaan dan menerimanya jika dan hanya jika purata skor semakan adalah lebih tinggi daripada ambang Untuk kertas ini, pendapatan pengarang berkurangan secara eksponen dengan bilangan penyerahan semula.
Persidangan Tertinggi menjanjikan mekanisme semakan/membuat keputusan, dan penulis akan membuat strategi terbaik untuk mekanisme ini manakala Persidangan Tertinggi perlu mempertimbangkan strategi tindak balas terbaik penulis, dan reka bentuk Mekanisme optimum untuk mengimbangi kualiti mesyuarat dan tekanan kajian.

2. Kesimpulan utama

Menggunakan kaedah pemodelan di atas, kertas kerja ini menarik beberapa. kesimpulan Kesimpulan penting, termasuk:

1) Strategi optimum pengarang

Dalam model yang dipermudahkan (lihat teks asal untuk model yang lebih kompleks), artikel ini menjadikan Perkara berikut andaian dibuat: pengarang mengetahui kualiti sebenar kertas kerja mereka, keputusan persidangan tidak dapat diingati (keputusan untuk setiap pusingan semakan hanya bergantung pada pendapat penyemak dalam pusingan itu), dan pengarang mempunyai peluang penyerahan semula tanpa had. Dalam kes ini, pengarang mempunyai strategi optimum ambang:

• Jika kualiti kertas lebih tinggi daripada ambang, penulis akan memilih untuk menyerahkan kepada semakan teratas, dan tidak kira berapa banyak penolakan yang dialami, penulis akan memilih untuk menghantar semula sehingga manuskrip diluluskan
• Jika kualiti kertas lebih rendah daripada ambang, penulis akan segera memilih; pasti pertaruhan.

Biasanya ambang penyerahan pengarang Θ adalah lebih rendah daripada ambang penerimaan persidangan τ, seperti yang ditunjukkan dalam rajah di bawah.

Kesimpulan di atas boleh digunakan untuk menerangkan paradoks penyerahan semula: mengapa menerima lebih banyak kertas kerja pada dasarnya tidak boleh Mengurangkan semakan tekanan? Ini kerana menurunkan ambang penerimaan persidangan τ pada masa yang sama akan menurunkan ambang penyerahan pengarang Θ, dengan itu menarik lebih banyak penyerahan kertas berkualiti rendah. Seperti yang ditunjukkan dalam rajah di bawah, jika ambang penerimaan diturunkan, beberapa kertas (kawasan ungu) yang sebelum ini dipilih untuk diserahkan ke persidangan kategori kedua kini dipilih untuk diserahkan ke persidangan teratas.

2) Kualiti mesyuarat dan tekanan semakan

Mekanisme semakan/membuat keputusan mesyuarat tertinggi perlu timbang kualiti mesyuarat Dan tekanan semak, anda tidak boleh mempunyai kedua-duanya.

• Kualiti persidangan = jumlah kualiti semua kertas yang diterima
• Tekanan semakan = kertas daripada penyerahan hingga penerimaan akhir Dijangka nilai menerima bilangan ulasan

Menukar ambang penerimaan akan mengubah kedua-dua kualiti mesyuarat dan tekanan ulasan (seperti yang ditunjukkan di bawah).

Gambar menunjukkan hubungan antara kualiti bertemu (ordinat) dan tekanan semakan (abscissa) mengenai penerimaan ambang Tukar keluk, σ ialah sisihan piawai hingar pengulas.

Tiga situasi berikut boleh membawa kepada pertukaran yang lebih baik antara kualiti pertemuan dan tekanan semakan (kualiti mesyuarat yang sama memerlukan tekanan semakan yang kurang):

• Kualiti ulasan yang lebih baik - bunyi pengulas yang lebih rendah; >Pengarang yang lebih rabun - pendapatan penulis akan dikurangkan dengan banyak dalam beberapa pusingan pelaburan semula.
• 3 Kesimpulan
• Artikel ini bertujuan untuk memanggil persidangan akademik untuk mempertimbangkan insentif yang dibawa oleh mekanisme yang berbeza kepada pengarang kertas apabila menambah baik semakan dan membuat keputusan mekanisme, dan banyak lagi Untuk kesimpulan yang lebih menarik, lihat teks asal kertas sebagai contoh, apakah faktor yang mempengaruhi kadar penerimaan kertas tersebut? Apakah strategi optimum untuk pengarang tanpa pengetahuan yang tepat tentang kualiti kertas mereka? Apakah kesan yang memerlukan pengarang untuk memberikan ulasan ulasan sebelumnya pada kertas kerja terhadap persidangan itu?

Sudah tentu, model teori artikel ini mempunyai banyak batasan pada tahap yang berbeza: sebagai contoh, artikel ini tidak mengambil kira kesan maklum balas negatif tekanan ulasan terhadap kualiti ulasan, dan kesan kualiti persidangan terhadap pendapatan pengarang Kesan maklum balas yang positif, dan percaya bahawa kualiti kertas tidak akan dipertingkatkan semasa proses penolakan, dsb. Perbincangan dan penambahbaikan sistem tinjauan rakan persidangan tidak akan berhenti di sini. Adalah penting untuk memahami mekanisme tinjauan persidangan dari perspektif permainan untuk membincangkan lebih banyak butiran penyelidikan.

Atas ialah kandungan terperinci Patutkah Dinghui menurunkan ambang penerimaan? Gunakan teori permainan untuk meneroka semakan optimum dan mekanisme membuat keputusan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!