Netizens verurteilten den ACL-Vorsitzenden für seine öffentliche Kritik an arXiv und schlugen vor, andere Top-Konferenzen in Betracht zu ziehen

Emily M. Bender, Professorin an der University of Washington und Vizepräsidentin der ACL 2023-Konferenz, sorgte vor ein paar Tagen mit ihren Ausführungen für großes Aufsehen

arXiv hat die Forschungsatmosphäre ruiniert, was lesen wir also alle? Tag? Boaz Barak, Professor an der Harvard University, sagte, dass arXiv viel mehr zur Förderung des wissenschaftlichen Fortschritts und zur Ausweitung der wissenschaftlichen Beteiligung beigetragen habe als alle anonymen Interventionen, die nicht nur dumm seien, sondern auch den gegenteiligen Effekt hätten Der Deep-Learning-Riese Yann LeCun unterstützte seine Ansichten

Die Diskussion über die Ansichten von Emily Bender ist eigentlich nicht völlig unvernünftig. Schließlich handelt es sich bei arXiv um eine Plattform, auf der es fast keine Begutachtung gibt: Wenn Sie ein Manuskript bei einer wissenschaftlichen Konferenz oder Zeitschrift einreichen, bleibt der Autor während des Begutachtungszeitraums anonym, aber auf arXiv folgt man immer unfreiwillig namhaften Forschungseinrichtungen und Wissenschaftlern. Seit dem, was gestern passiert ist, hat sich die Richtung der Diskussion jedoch völlig auf eine Seite verschoben

Um die Einzelheiten der Angelegenheit zu verstehen, müssen wir uns zunächst den Vorfall mit der Ablehnung von ACL-Papieren ansehen, der für Aufruhr sorgte die KI-Community gestern

Naomi Saphra, Postdoktorandin an der New York University (studiert bei Kyunghyun Cho), postete am 4. September auf X, dass ihr Beitrag gerade von ACL, der führenden internationalen Konferenz auf dem Gebiet, abgelehnt worden sei Verarbeitung natürlicher Sprache. Dies war ihre erste Einreichung eines Konferenzbeitrags mit Studenten, und sie hatte dem Erstautor zuvor gesagt, dass Top-Konferenzen zur Verarbeitung natürlicher Sprache benutzerfreundlicher seien als Konferenzen zum maschinellen Lernen. Während des Begutachtungszeitraums verbrachte die Erstautorin viel Zeit mit der Widerlegung, und auch die experimentellen Ergebnisse untermauerten den Sinn der Arbeit

Das Wichtigste ist jedoch, dass der Grund für die Ablehnung darin bestand, dass sie das Manuskript nachträglich eingereicht hatte Die Frist für die Anonymitätsrichtlinie wurde eingereicht. Naomi Saphra sagte, dass die ACL-Richtlinie neuen Einsteigerforschern geschadet habe, was dazu geführt habe, dass die Konferenz von der ursprünglichen Absicht des Bereichs der Verarbeitung natürlicher Sprache abgewichen sei Die AI Top Conference verbietet Veröffentlichung während der Begutachtung. Das Papier hat eine lange Geschichte der Kontroversen. Heutzutage sind es im KI-Kreis viele Menschen gewohnt, jeden Tag auf die Preprint-Papierplattform arXiv zu starren, da diese Plattform jeden Tag aktualisiert wird. Im Vergleich dazu wird die einmal im Jahr stattfindende Konferenzforschung viel langsamer veröffentlicht Richtlinien für KI-Konferenzen

Sebastian Raschka, ein bekannter Forscher für maschinelles Lernen und Assistenzprofessor an der University of Wisconsin-Madison, führte einige Recherchen durch. Er wies darauf hin, dass der Beitrag nicht deshalb abgelehnt wurde, weil er die Einreichungsfrist für den Konferenzbeitrag um einige wenige verpasst hatte Minuten, aber weil es ein paar Minuten zu spät war, um es an eine optionale Preprint-Papierplattform eines Drittanbieters einzureichen. Was ist los?

Früher war es den Leuten nicht erlaubt, ihre Arxiv-Artikel online zu diskutieren. Können sie jetzt auch einschränken, wann Leute auf Arxiv hochladen können?

Sebastian Raschka fand die Begutachtungsrichtlinie im Einzelnen wie folgt: Bei ACL 2023 haben über direkte Methoden eingereichte Beiträge eine Anonymitätsfrist und dürfen ihre Unterschriften nicht auf der Preprint-Papierplattform offenlegen. Die auf arXiv angegebenen Zeiten beziehen sich auf den Zeitpunkt der Einreichung, nicht auf den Zeitpunkt der Veröffentlichung auf arXiv. Die von Sebastian Raschka entdeckte Begutachtungsrichtlinie sieht konkret so aus: Beim ACL 2023 haben durch direkte Einreichung eingereichte Beiträge eine Anonymitätsfrist und dürfen nicht öffentlich auf der Preprint-Papierplattform unterzeichnet werden. Die angegebene Zeit bezieht sich auf den Zeitpunkt der Einreichung auf arXiv, nicht auf die öffentliche Zeit auf arXiv Die Situation ist besser als gedacht. Schlimmer.

Jetzt hat er eine Frist für das Hochladen auf arXiv gesetzt, und der Artikel von Naomi Saphra et al. wurde abgelehnt, weil er dieses Mal versäumt hat. Sie sehen, er ist jetzt gleichbedeutend damit, Ihnen eine Frist zum Hochladen auf arXiv zu setzen. Weil der Artikel von Naomi Saphra und anderen dieses Mal verpasst wurde, wurde er abgelehnt. Boaz Barak sagte sarkastisch: Könnte es sein, dass der Autor des Artikels Möchten Sie etwas Zeit in einem Kloster verbringen, bevor die Ergebnisse der Rezension veröffentlicht werden?

Wir befinden uns derzeit im Zeitalter großer Modelle und der Wettbewerb im NLP-Bereich ist extrem hart geworden. Die Karriere vieler junger Forscher hängt davon ab, ihre Arbeiten auf gut sichtbaren Plattformen zu präsentieren, in der Hoffnung, mehr Zitate zu erhalten. Die aktuellen Praktiken der Top-Konferenzen zur künstlichen Intelligenz stehen jedoch im Widerspruch dazu

Nach der ursprünglichen Absicht von Konferenzen wie der ACL besteht sie offensichtlich darin, den akademischen Austausch zu fördern und die Entwicklung fortgeschrittener Forschung zu fördern. Allerdings haben die schmerzhaften Richtlinien sogar dazu geführt, dass Menschen die Autorität der Konferenz selbst in Frage stellen

Google-Vizepräsident Fernando Pereira sagte: „ACL ist schon lange nicht mehr akademisch und folgt nun dem Weg einer Bürokratie.“

Doktorand Fu Yao sagte: Ich habe dieses Jahr an den ACL- und ICML-Konferenzen teilgenommen und es gibt einen scharfen Kontrast zwischen den beiden. Der Inhalt von ACL 2023 ist grundsätzlich mehr als ein Jahr veraltet, während der Inhalt von ICML voller Zukunftsaussichten steckt. Wenn die jüngere Generation von Forschern zur Verarbeitung natürlicher Sprache eine Zukunft haben möchte, sollte sie ihre Artikel bei NeurIPS/ICLR/ICML einreichen. Verglichen mit der rasanten Entwicklung der KI-Technologie scheint die Entwicklung von Regeln für KI-Konferenzen relativ langsam zu sein

Interessanterweise hat sich ACL nicht wirklich sehr langsam geändert. Seit 2022 hat ACL einen Mechanismus namens „Rolling Review“ eingeführt, nämlich ACL Rolling Review (ARR), der dem Review-Prozess von Zeitschriften ähnelt. Kürzlich hat ACL die Vorschriften überarbeitet, die bei der Konferenz 2024 vollständig gestrichen werden, und jeder kann sich nur für die Einreichung bei ARR entscheiden. Bisher konnten direkt bei der ACL-Konferenz eingereichte Beiträge gemäß der regulären Überprüfung bearbeitet werden Prozess: 1. Jeder Beitrag wird von drei oder mehr Gutachtern begutachtet. Sobald der Beitrag angenommen wurde, kann der Autor den endgültigen Entwurf bearbeiten wird vom Senior überprüft. Der Area Chair (SAC) kümmert sich um die Einreichung und der Autor kann eine Antwort geben, das Papier jedoch nicht überarbeiten. Das Papier muss alle Rezensionskommentare und umfassenden Rezensionskommentare (Meta-Rezension) einholen und vor Ablauf der Frist an ACL senden. Der Inhalt kann nicht geändert werden, aber die Antwort des Autors kann beigefügt werden. Sobald es bei ACL eingereicht wurde, kann es nicht mehr geändert und erneut bei ARR eingereicht werden (es sei denn, die Konferenz gibt ein Akzeptanzergebnis).

Dem aktuellen Trend zufolge wird sich ACL in Zukunft weiter in Richtung mehrerer Überprüfungsrunden weiterentwickeln, um näher zu kommen Um den Anforderungen akademischer Zeitschriftenstandards gerecht zu werden

Derzeit haben wir keine Lösung gefunden, um hochwertige Forschung und eine strenge und faire Überprüfungsgeschwindigkeit in Einklang zu bringen. Obwohl die fortlaufende Überprüfung ihr Bestes gegeben hat, ist sie immer noch nicht mit der Geschwindigkeit von arXiv vergleichbar

Das Folgende ist der Referenzinhalt:

Bitte klicken Sie auf den folgenden Link, um detaillierte Informationen zur ACL-Hauptkonferenz 2023 anzuzeigen: https://2023.aclweb.org/calls/main_conference/

Das obige ist der detaillierte Inhalt vonNetizens verurteilten den ACL-Vorsitzenden für seine öffentliche Kritik an arXiv und schlugen vor, andere Top-Konferenzen in Betracht zu ziehen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!