AI 서밋의 심사위원은 사실 학부생? 한 여성 물리학자가 트위터에 불만을 토로하자 업계 유명 인사들이 그녀를 칭찬했다.

최고의 학회 저널의 리뷰어들이 모두 해당 분야의 전문가라고 생각하시나요?

실제로 몇 달간 공들인 연구논문의 심사위원들은 학부생이나 대학원생 집단일 확률이 가장 높죠?

최근 EPFL(École Polytechnique Fédérale de Lausanne)의 여성 물리학자인 Lenka Zdeborova는 트위터에서 최고 회의의 검토자 메커니즘에 대해 불만을 표시했습니다.

대학원 지원자는 이미 원고 심사 경험이 있나요? 그리고 그것들이 꽤 많이 있습니다.

EPFL 컴퓨터 과학 대학원 지원서를 검토하고 있는데 지원자 중 상당수가 최고의 ML 컨퍼런스에서 검토자로 활동한 경험이 있는 것으로 나타났습니다. 그리고 동료 검토의 상당 부분을 학부생이 수행하는지 궁금합니다. 우리는 동료 검토에도 신경을 쓰나요? ?

Lenka Zdeborová는 EPFL의 물리학 및 컴퓨터 과학 교수이며, 그곳에서 컴퓨팅 대학의 통계 물리학 섹션을 이끌고 있습니다.

Journal of Physics A, Physical Review E, Physical Review X, SIMODS, Machine Learning: Science and Technology, Information and Inference 등 다수의 학술지의 편집위원입니다.

Lenka는 통계 물리학(예: 고급 평균 필드 방법, 복제 방법 및 관련 메시지 전달 알고리즘)의 개념을 기계 학습, 신호 처리, 추론 및 최적화 문제에 적용하는 전문 분야입니다.

업계의 일부 사람들도 1학년 대학원생들이 이미 최고 컨퍼런스에서 원고를 검토할 수 있다는 데 동의하며, 누구도 이것이 문제라고 생각하지 않습니다.

당신이 생각하는 리뷰어들은 학문적인 거물들이고, 사실 그들은 그들이 가르치는 학부생이나 대학원생들입니다...

Zhihu 답변자 "Kaka "Kakabi"는 이러한 현상을 믿습니다. ICLR에서 AAAI에 이르기까지 심사위원의 수준은 고르지 않습니다. 자격을 갖추지 못한 경우 귀하의 논문은 학부생의 손에 넘어갈 것입니다.

리뷰어의 자질에 대해 불만을 토로한 후, 모든 사람이 공감할 수 있고 대부분의 사람들의 리뷰 취향을 고려할 수 있는 작품을 작성하는 방법에 대해 생각하는 것이 핵심입니다. ㅋㅋㅋ 그것을 이해하지 못하는 것, 그게 당신의 문제입니다.

출처: Hysterical i

최고 학회에서 원고를 검토하는 방법

그럼 최고 학회에서 원고를 검토하는 방법은 무엇일까요?

동료 검토는 현대 과학의 초석입니다. 거의 모든 주요 기계 학습(ML) 컨퍼런스(예: NeurIPS, ICML, AAAI)는 제출된 논문이 커뮤니티와 원본과 관련이 있는지 여부를 결정하는 데 사용됩니다. 거기에 출판하기에 충분합니다.

안타깝게도 지난 10년 동안 제출 수가 기하급수적으로 증가함에 따라 리뷰 품질도 빠르게 저하되었습니다.

이 컨퍼런스 중 하나에 논문을 제출한 적이 있다면, 훌륭한 아이디어라고 생각했던 것을 몇 달 동안 열심히 노력한 후에 얻은 결과는 형편없고, 쓸모가 없으며, (더 나쁘게) 비꼬는 댓글은 다음을 의미합니다. 논문에 어떤 문제가 있는지 아무런 힌트도 없이 투고 과정을 처음부터 다시 거쳐야 합니다.

Turing Award 수상자 Geoffrey Hinton은 2018년 Wired 매거진과의 인터뷰에서 그 이유 중 하나를 밝혔습니다.

이제 완전히 새로운 아이디어가 담긴 논문을 제출하면 성공할 가능성이 전혀 없습니다. 이 젊은 주니어 리뷰어들이 그것을 이해할 수 없었기 때문에 받아들여졌습니다.

아니면 너무 많은 논문을 검토했는데 처음에는 이해하지 못해서 말도 안 되는 일이라고 생각한 선임 검토자를 만날 것입니다. 나는 이것이 정말로 나쁘다고 생각한다.

Zhihu 답변자 Electro-Light Phantom Alchemy는 리뷰어가 이해하지 못한 몇 가지 개념적 문제로 인해 귀하의 논문에 낮은 점수가 부여되었다고 판단하는 경우 세 가지 가능성이 있습니다.

(1) 리뷰어는 학부/박사과정 학생으로 이러한 개념을 이해하지 못합니다.

(2) 리뷰어는 슈퍼맨입니다. 그는 기본적인 개념 문제를 매우 중요하게 생각하며 이 분야에 오랫동안 참여하지 않았습니다.

(3) 리뷰어는 슈퍼 보스이지만 시간이 없어서 박사 후배들에게 원고 리뷰를 맡깁니다. 그러므로 학계는 순환이고, 학부생들은 가장 슈퍼 보스처럼 행동합니다.

• 이상적인 리뷰어는 다음과 같습니다.

월요일에 논문을 열고 초록을 보고 빠르게 읽고 참신함을 평가하세요. 화요일에는 방법을 자세히 살펴보고 결점을 찾아보세요. 수요일 실험을 보시고 기준선 관련 논문을 읽어보시고 실험 내용을 확인해보세요. 리뷰 점수를 결정하려면 목요일부터 리뷰 댓글 쓰기를 시작하세요. 금요일에는 리뷰 코멘트를 추가하고 리뷰 점수를 제출하겠습니다.

• 실제 리뷰어:

월요일 오전 8시에 리뷰지를 열어서 초록을 읽어보니 별것 아닌 느낌이 들었습니다. 사진을 보니 글을 읽지 않고서는 도저히 이해할 수 없을 것 같은 느낌이 듭니다. 뒤로 돌아서 실험 수치를 살펴보니 개선 정도는 크지 않다는 느낌이 들었습니다. 방법을 살펴보세요. 읽을 페이지가 너무 많습니다. 아직 오후에 할 일이 있으니 5점 주고 출발하겠습니다. 검토 작업은 월요일 오전 11시 30분에 종료됩니다.

ICML2022의 검토 규칙을 살펴보겠습니다.

• 주제 선택의 중요성:

목적 리뷰의 이 부분은 MR에게 있습니다. (메타리뷰어) 논문을 얼마나 이해하고 있는지, 논문에 대해 어떻게 생각하는지 저자에게 보여주세요.

• 작문 혁신, 관련성, 중요성:

우리 커뮤니티와 관련이 있나요? 새로운 것인가요? 대답이 '아니오'(또는 이전 논문의 정확한 결과를 인용하는 등 부분적 '아니오')인 경우 저자가 논문을 수정하는 방법을 알 수 있도록 정확한 이유가 필요합니다.

• 건전성:

이상적으로, 논문은 이론적 주장이나 실험 결과에 의해 잘 뒷받침되는 주장을 해야 합니다.

• 글쓰기 품질:

논문이 잘 정리되어 있고 명확하게 쓰여졌나요? 새로움과 결과를 잘 설명하고 있나요? 논문에 주장을 뒷받침할 만큼 충분한 정보가 포함되어 있나요?

• 참고문헌:

이 논문은 현대 문학에 적절하게 배치되어 있나요? 그렇지 않은 경우 누락된 내용을 명시해 주십시오. 논문에는 페이지 제한이 있기 때문에 결과를 언급해야 할지 여부에 대한 판단이 필요한 경우가 많습니다.

1단계 심사위원의 심사기준이며, 심사기준을 충족한 분들이 2단계에 진입하실 수 있습니다.

1단계를 통과한 논문은 메타 리뷰어(MR)와 프로젝트 위원장의 리뷰를 받게 됩니다. 이후 논문 리뷰의 품질을 보장하기 위해 추가 리뷰어가 배정됩니다.

그리고 왜 지금 최고 리뷰어들 중에 리뷰어들의 수준이 고르지 않고, 심지어 학부생과 대학원생 그룹까지 존재하는 가장 큰 이유는 산업이 너무 빠르게 발전하고 있고, 그 수가 증가하고 있기 때문입니다. 투고자 수는 자격을 갖춘 리뷰어보다 훨씬 빠릅니다.

이로 인해 리뷰할 수 있는 사람의 비율이 줄어들 뿐만 아니라 유능한 리뷰어가 각 기사에 전념할 수 있는 시간도 줄어듭니다.

위 내용은 AI 서밋의 심사위원은 사실 학부생? 한 여성 물리학자가 트위터에 불만을 토로하자 업계 유명 인사들이 그녀를 칭찬했다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!