Nature에 논문을 제출할 때 먼저 GPT-4에 대해 물어보세요! 스탠포드는 ​​실제로 5,000개의 기사를 테스트했는데, 그 중 절반은 인간 리뷰어의 의견과 동일했습니다.

GPT-4에서는 논문 검토가 가능합니까?

스탠포드와 다른 대학의 연구원들이 실제로 테스트했습니다.

그들은 Nature 및 ICLR과 같은 최고 컨퍼런스의 수천 개의 기사를 GPT-4에 던져 검토 의견(수정 제안 등 포함)을 생성한 다음 이를 인간이 제공한 의견과 비교했습니다.

조사 결과 다음과 같은 사실이 발견되었습니다.

GPT-4에서 제안한 의견 중 50% 이상이 최소 한 명의 검토자와 일치하며

저자 중 82.4% 이상이 다음과 같은 사실을 발견했습니다. GPT-4에서 제공한 의견 매우 도움이 됩니다

이 연구가 우리에게 어떤 통찰력을 가져다 줄 수 있나요?

결론은 다음과 같습니다.

아직 고품질의 인간 피드백을 대체할 수는 없지만 GPT-4는 작성자가 공식적인 동료 검토 전에 첫 번째 초안을 개선하는 데 도움이 될 수 있습니다.

구체적으로 보세요.

GPT-4 논문 검토 수준의 실제 테스트

GPT-4의 잠재력을 입증하기 위해 연구원들은 먼저 GPT-4를 사용하여 자동 파이프라인을 만들었습니다.

전체 논문을 PDF 형식으로 분석하고 제목, 초록, 그림, 표 제목 및 기타 콘텐츠를 추출하여 프롬프트를 생성한 다음

GPT-4에서 리뷰 의견을 제공할 수 있습니다.

그 중 의견은 각 상위 학회의 기준과 동일하며 다음 4가지 부분으로 구성됩니다.

연구의 중요성과 신규성, 승인 또는 거부 이유와 개선 제안

구체적인 실험은 두 가지 측면에서 펼쳐집니다.

첫 번째는 정량적 실험입니다.

기존 논문을 읽고, 피드백을 생성하고, 실제 인간의 의견과 체계적으로 비교하여 중복성을 찾아냅니다.

여기서 팀은 메인 Nature 저널과 주요 서브에서 데이터를 수집했습니다. -저널은 3096개 논문이 선정되었으며, ICLR Machine Learning Conference(작년과 올해 포함)에서 1709개 논문이 선정되어 총 4805개 논문이 선정되었습니다.

그 중 Nature 논문에는 총 8,745개의 인간 검토 의견이 포함되었으며, ICLR 회의에는 6,506개의 의견이 포함되었습니다.

GPT-4가 의견을 제시한 후 파이프라인은 일치 링크에서 인간 및 GPT-4 인수를 추출한 다음 의미론적 텍스트 일치를 수행하여 GPT-4 의견의 효율성과 신뢰성을 측정하는 중복 인수를 찾습니다.

결과는 다음과 같습니다.

1. GPT-4 의견은 인간 리뷰어의 실제 의견과 상당히 겹칩니다.

전체적으로 Nature 논문에서 GPT-4 의견의 57.55%는 적어도 한 명의 인간 리뷰어와 일치합니다. ICLR에 따르면 이 수치는 77.18%에 달합니다.

GPT-4를 각 리뷰어의 의견과 더욱 주의깊게 비교한 후 팀은 다음과 같은 사실을 발견했습니다.

Nature 논문에서 인간 리뷰어와 GPT-4의 중복률은 30.85%로 떨어졌고, ICLR에서는 39.23%로 떨어졌습니다. %.

그러나 이는 두 명의 인간 리뷰어 사이의 중복률과 비슷합니다.

Nature 논문에서 인간의 평균 중복률은 28.58%이고 ICLR에서는 35.25%입니다

게다가 그들은 성적도 분석했습니다. 논문 수준(구두, 스포트라이트 또는 직접 거부)을 통해 다음과 같은 사실을 발견했습니다. 등급이 낮은 논문의 경우 GPT-4와 검토자 간의 중복 비율이 높아질 것으로 예상됩니다. 현재 30% 이상에서 거의 50%까지 늘릴 수 있습니다

이것은 GPT-4가 높은 식별 능력을 가지고 있으며 품질이 낮은 논문도 식별할 수 있음을 보여줍니다

저자는 또한 더 실질적인 수정이 필요한 경우에는 논문이 승인되면 운 좋게도 모든 사람이 공식적으로 제출하기 전에 GPT-4에서 제공한 수정 제안을 시도해 볼 수 있습니다.

2. GPT-4는 비보편적 피드백을 제공할 수 있습니다

소위 비보편적 피드백은 GPT-4가 여러 논문에 적용되는 보편적인 검토 의견을 제공하지 않음을 의미합니다.

여기서 저자는 "쌍별 중첩률" 측정항목을 측정한 결과 Nature와 ICLR 모두에서 0.43%와 3.91%로 크게 감소한 것을 발견했습니다.

이것은 GPT-4가 구체적인 목표를 가지고 있음을 보여줍니다

3. 주요하고 보편적인 문제에 대해 인간의 의견에 동의할 수 있습니다

일반적으로 가장 먼저 나타나고 여러 리뷰어가 언급한 댓글은 중요하고 일반적인 문제를 나타내는 경우가 많습니다.

여기서 팀은 LLM이 여러 리뷰어가 만장일치로 인식하는 일반적인 문제를 식별할 가능성이 더 높다는 사실도 발견했습니다

.

GPT-4는 전반적으로 좋은 성능을 발휘합니다

4. GPT-4가 제시한 의견은 인간과 다른 몇 가지 측면을 강조합니다

연구에 따르면 GPT-4가 연구 자체의 의미에 대해 언급하는 빈도는 인간입니다. 연구의 참신함에 대해 논평할 확률은 인간보다 7.27배 더 높습니다.

GPT-4와 인간 모두 추가 실험을 권장하는 경우가 많지만 인간은 절제 실험에 더 집중하고 GPT-4는 더 많은 데이터 세트에서 시도해 볼 것을 권장합니다.

저자들은 이러한 결과가 GPT-4와 인간 검토자가 다양한 측면에 서로 다른 강조점을 두고 있으며 둘 사이의 협력이 잠재적인 이점을 가져올 수 있음을 나타냅니다.

정량적 실험 그 이상은 사용자 연구입니다.

이 연구에는 다양한 기관의 AI 및 컴퓨터 생물학 분야의 총 308명의 연구자가 참여했습니다. 그들은 검토를 위해 자신의 논문을 GPT-4에 업로드했습니다.

연구팀은 GPT-4 검토 의견에 대한 실제 피드백을 수집했습니다.

전체적으로 절반 이상(57.4%)참가자들은 인간이 생각하지 못하는 몇 가지 사항을 알려주는 등 GPT-4에서 생성된 피드백이 매우 도움이 되었다고 생각했습니다.

그리고 설문조사에 참여한 사람 중 82.4%는 최소한 일부 인간 리뷰어 피드백보다 더 유익하다고 답했습니다.

또한 절반 이상(50.5%)이 종이 개선을 위해 GPT-4와 같은 대형 모델을 더욱 활용하겠다는 의지를 밝혔습니다.

그 중 한 명은 GPT-4가 결과를 제공하는 데 5분밖에 걸리지 않는다고 말했습니다. 이 피드백은 정말 빠르고 연구자들이 논문을 개선하는 데 매우 도움이 됩니다.

물론 저자는 다음을 강조합니다.

GPT-4의 기능에도 몇 가지 제한 사항이 있습니다.

가장 분명한 점은 "전체 레이아웃"에 더 중점을 두고 있으며 특정 기술 영역에 대한 심층적인 제안이 부족하다는 것입니다 ( 모델 아키텍처 등) .

따라서 저자의 최종 결론은 다음과 같습니다.

공식 검토 이전에 리뷰어의 고품질 피드백이 매우 중요하지만, 실험 및 구성과 같은 세부 사항을 보완하기 위해 먼저 물을 테스트할 수 있습니다. 생략

물론 다음 사항도 상기시켜 줍니다.

공식 검토에서 검토자는 여전히 독립적으로 참여해야 하며 LLM에 의존해서는 안 됩니다.

저자는 모두 중국인

이 연구의 저자는 세 명이며, 모두 중국인이고 모두 스탠포드 대학교 컴퓨터 과학부 출신입니다.

그들은 다음과 같습니다:

• Liang Weixin, 학교 박사 과정 학생이자 Stanford AI Laboratory (SAIL) 회원. 그는 스탠포드 대학교에서 전기 공학 석사 학위를, 저장 대학교에서 컴퓨터 과학 학사 학위를 취득했습니다.
• 다중 AI 시스템을 연구하고 있는 박사과정 학생 Yuhui Zhang. 칭화대학교에서 학사 학위를, 스탠포드에서 석사 학위를 받았습니다.
• Cao Hancheng은 경영 과학 및 공학을 전공하는 5년차 박사 과정 학생입니다. 그는 또한 스탠포드 대학의 NLP 및 HCI 그룹에 합류했습니다. 이전에는 청화대학교 전자공학과에서 학사학위를 취득했습니다.

논문 링크: https://arxiv.org/abs/2310.01783

위 내용은 Nature에 논문을 제출할 때 먼저 GPT-4에 대해 물어보세요! 스탠포드는 ​​실제로 5,000개의 기사를 테스트했는데, 그 중 절반은 인간 리뷰어의 의견과 동일했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!