チャットのスクリーンショットから AI レビューの隠されたルールが明らかになります。 AAAI 3000元は強力に受け入れられますか？

AAAI 2023 の論文提出期限が近づいていたとき、AI 投稿グループの匿名チャットのスクリーンショットが突然 Zhihu に表示されました。

そのうちの 1 人は、3,000 元で「強力な受け入れ」サービスを提供できると主張しました。

このニュースが発表されるとすぐに、ネチズンの間で国民の怒りを引き起こしました。

# ただし、まだ心配する必要はありません。

Zhihu の上司「微調整」は、これはおそらく単なる「話題」である可能性が高いと述べました。

『Fine Tuning』によると、挨拶や集団犯罪はどの分野でも避けられない問題だという。 openreview の台頭により、cmt のさまざまな欠点がますます明らかになり、小さなサークルが活動できる余地は将来的には小さくなるでしょうが、余地は常にあります。これは個人の問題であり、投稿システムや仕組みの問題ではないからです。オープンレビューと入札ランダムマッチングの導入が役立つかもしれません。

そして彼の個人的な見解は、記事が NeurIPS、AAAI、IJCNN のどれに掲載されるかは関係ありません。自分が何をしているのかを皆に知らせるために十分に宣伝するだけです。これが役立つかどうかを証明します。

では、今日のカンファレンス論文レビューではこの傾向が蔓延しているのでしょうか?そして、これによって「名声と富」を得た人はいますか？

すべてがあなたを金持ちにできる

議論する前に、この入札が何であるかについて簡単に説明しましょう。

査読者の割り当てを容易にするために、一部の会議では査読者が興味のある論文を選択できる入札セッションを設定します。システムは、これらの査読者の選択に基づいて論文を割り当てることができます。ただし、この段階では査読者には論文のタイトルと要約のみが表示されます。

そして、これについては語るべきことがたくさんあります。

さまざまな匿名の暴露

Zhihu の別の匿名ネットユーザーは次のように述べています。 WeChat チャットのスクリーンショットで証明されているように、レイアウトが小さすぎます。実際、最高の論文であっても互いに入札できるため、このような些細な問題は何でもありません。

一部のネチズンは、今年 AAAI に提出する際、競合するユーザー、競合するドメインなどを真剣に記入するよう求められたが、実際にはほとんど役に立たなかったと述べています。 。

この匿名の Zhihu ユーザーは、驚くべき解決策も提案しました。それは、グラフ ニューラル ネットワーク、レコメンデーション システムなどを使用して、リレーションシップ ネットワークを中心に過去のデータを自動的にマイニングするというものです。各講師の入札データやレビューデータ、主要カンファレンスのスコアリング状況を確認すると、異常なノードや関係性がグラフニューラルネットワーク内で星のように輝くため、簡単に掘り出すことができます。

あるいは、単に最高入札データ マイニング コンテストを開催することもできます。

# しかし、一部のネチズンは、このいわゆる「3,000 元のパッケージ SA」には実際にはバグがあると指摘しました。

#無理に勧めたとしても、ボーダーラインと弱いリジェクトを追加すれば、他のレビュアーが無料で提供してくれるということを知っておく必要があります。結局のところ、これは入学平均点に基づいたものではありません。そして、その差が大きい場合、AC はそれを与えることができません。

だから、たとえお金を出さなければならないとしても、それを「刃」に使わなければなりません。そう考えると、SPCかACを探さなければなりません。しかし、現時点では 2 つの質問 (実際には 1 つ) を考慮する必要があります。まず、このレベルの人材をわずか 3,000 元で獲得できると思いますか?第二に、誰かが本当にあなたのためにそれをやってくれるなら、彼らはあなたに3,000しか請求しませんか？

もちろん、文句を言うだけでなく、「正義を貫く勇敢な」上級査読者もいて、「水文学」に高得点を与えている査読者を見たら、直接強く拒否し、短い作文を書いて激しくディスるというテンプレが出来上がりました。

#すべてのカンファレンスやジャーナルは同様の問題を抱えていると言われていますが、その割合や深刻度は異なります。この記事でこれ以上語るのは不便です。

匿名ユーザーの提案は真実であり、才能があります

レビューはランダムですAI の審査プロセスはどのくらいランダムですか?

2021 年、NeurIPS はレビューの一貫性実験を実施しました。

香港の中国人CS医師による「電気幻影錬金術」の紹介ビデオによると、この実験では10%の確率で二人に同じ原稿が送られるそうです。レビュー担当者のグループ。グループ内のレビュー担当者はお互いの存在を知りません。

2 つのレビュー担当者グループが別々に採点し、2 人のフィールドチェアが採点結果について決定を下します。このようにして、同じ原稿が異なる審査結果を受ける可能性がどの程度あるのかを定量的に分析できます。

結果は、最初のレビュー担当者グループが承認し、2 番目のレビュー担当者グループが拒否する確率が 52% で、半分以上であることを示しています。

そして、最初のグループのレビュー担当者が拒否した場合、2 番目のグループのレビュー担当者も拒否する確率は 83% です。

この結果は、李飛飛氏の見解とも一致しています。

Li Feifei はかつて、レビューについて論じた非常に有名な記事を発表し、次の 2 つの観点を提唱しました。 1. レビュー プロセスは非常にランダムです。 2. 悪い論文には悪いレビューコメントが付けられる これは黄金律であり、時間やランダム性によって変わることはありません。

NeurIPS 関係者もこのような比較を行いましたが、各論文は審査されずにランダムに決定され、採択率と不同意率に基づいて作成されました。曲線。横軸は合格率、縦軸は不一致率です。

#図からわかるように、受信率が非常に低いか非常に高い場合、発散率は大きくありません。

真ん中の差異率が最も大きく、合格率が50%の場合、最も差異が大きくなります。

AAAI と IJCAI はどちらもこのモデルを採用しており、ランダム性を小さくする代わりに高い拒否率を使用しています。

最後に、『電気幻の錬金術』では、人工知能の検討についての結論がこのようにまとめられています。

嵐の頂点に立つ AAAI

AAAI 2022 の審査結果は当初、物議を醸しました。

誰かがソーシャルメディアで、彼の論文は4件受理されたが、最終的には拒否されたと述べました。

以下の著者は、4 人の査読者全員が「受容バイアス」または「受容」について意見を述べ、レビュー コメントはすべて肯定的であったと述べています。: このアイデアは興味深いです。 、モデルは十分にしっかりしており、実験と分析は十分に包括的です。

しかし、最終的な結果は拒否でした。

AAAI 2023 では、2 段階の二重盲検 審査形式 が引き続き使用されます。

フェーズ 1 では、各論文に 2 人の査読者が加わります。受け取った両方の意見が否定的である場合、その論文は完全に拒否されます。残りはフェーズ 2 に進みます。

フェーズ 2 では、各論文に少なくとも 2 人の新しい査読者が加わります。新しいレビュー担当者は、コメントを送信するまでフェーズ 1 のレビュー結果を見ることはできません。

第 2 段階に入った論文の著者は、すべてのレビュー コメントに返信できます。プログラム委員会と上級プログラム委員会の間の議論は、著者からのフィードバックに基づいて行われます。

具体的な操作方法については、以下の論文を参照してください。

この論文は、新しい査読者と論文のマッチング方法を提案しており、AAAI 2021、ICML 2022、AAAI 2022、および IJCAI 2022 で (全体または一部が) 適用されました。

論文アドレス: https://arxiv.org/abs/2202.12273結局のところ、私は現状では、論文投稿時にできることはあまり多くないようですが、投稿者ができることは、頑張って良い記事を書いて、自分の論文がNeurIPSの最右端になれるように努力することだけです。実験的な曲線。

以上がチャットのスクリーンショットから AI レビューの隠されたルールが明らかになります。 AAAI 3000元は強力に受け入れられますか？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。