ChatGPT가 중국 대학 입학 시험에 참여하여 국가 A 및 B 시험을 제공했을 때 심각하게 편향된 것으로 나타났습니다!

Xi Xiaoyao 기술 토크 원본
저자 | PythonChatGPT는 지능형 인간-기계 대화 애플리케이션으로 출시 후 빠르게 전 세계적으로 인기를 얻었습니다. 불과 한 달 만에 이용자 수가 1억 명을 넘어섰다. 사람들은 또한 ChatGPT를 사용하여 SAT, AP, GRE 등과 같은 많은 테스트 항목을 테스트합니다. 그런데 ChatGPT가 중국 대학 입시에 참여하게 된다면 어떨까요? 그는 편견을 가질 것인가? 우리 같은 평범한 사람들도 ChatGPT를 통과할 수 있나요? 푸단대학과 화동사범대학 학생들이 남긴 논평을 살펴보겠습니다.

논문 제목:
GAOKAO 벤치마크에서 대규모 언어 모델의 성능 평가
논문 링크:https://www.php.cn/link/de66dbc30377a1f7908db45298324aa3

ChatGPT가 대학 입학 시험 문제에 답하도록 하는 방법은 무엇입니까?

본 논문에서는 아래 그림과 같이 제로 감독 프롬프트 방식을 사용하여 시험 문제를 ChatGPT 입력으로 변환합니다. 다양한 주제와 질문 유형에 따라 다양한 문의 방법이 설계되었습니다. 수학 질문의 경우 수식을 라텍스 입력으로 변환하세요.

대입 시험 데이터 세트

본 글의 시험은 2010년부터 2022년까지 총 13년 동안 국어 A문과 국문 B 문항을 사용했다. 각 시험지 세트에는 중국어, 수학, 영어, 물리학, 화학, 생활, 역사, 토지 문제 등 수학은 과학수학과 인문학 수학으로 구분됩니다.

데이터 세트에는 총 2811개의 시험 문제가 포함되어 있습니다. 여기서는 구체적인 문제 유형에 대해 논의하지 않을 것입니다. 독자들은 대학 입시 문제에 대해 매우 잘 알고 있을 것입니다.

평가 중에 주관적인 질문을 채점하기 위해 상하이 Caoyang No.2 중학교의 고등학교 교사가 고용되었습니다.

실험 및 분석

ChatGPT가 수년간 대학 입시에서 얻은 점수는 아래 그림과 같습니다. 점수 산정 시 각 과목을 100점으로 정규화하기 때문에 이 점수를 귀하와 나의 대학 입시 점수와 직접 비교할 수는 없습니다. 하지만 이 점수도 이상적인 점수는 아니라고 볼 수 있으며, 푸단이나 화동사범대학 모두 합격하지 못할 것으로 추정된다. 왜 이런거야?

위 사진은 주관적 주제와 객관식 주제뿐 아니라 다양한 주제에서 ChatGPT의 성과를 보여줍니다. 파란색은 객관식 문제이고 노란색은 주관식 문제입니다. 분석 결과, ChatGPT는 객관식 질문, 특히 영어 독해, 객관식, 클로즈에서 정확도가 각각 88.3%, 78.1%, 73.8%로 더 나은 성능을 보였습니다. 하지만 객관식 문제라도 과학이나 수학에서는 정확도가 40%도 안 된다. 수학은 정말 어렵습니다~

ChatGPT의 주관식 문제 성적이 좋지 않습니다. 물리학, 화학, 생물학, 수학 과목에서 주관식 문제의 성적은 객관적인 문제만큼 좋지 않습니다. 과학 과목의 객관식 문제 점수도 형편없군요. ChatGPT가 교양 과목에 편향되어 있는 것은 아닐까요? 리뷰어의 의견에 따르면 ChatGPT의 주요 단점은 다음과 같습니다. 1. 수학 문제의 복잡한 방정식은 올바르게 해결하기 어렵고 문제 해결 과정에서 잘못된 공식이 사용됩니다. 2. 긴 자료를 읽을 때 이해하고 요약하는 능력이 부족합니다.

요약

ChatGPT는 훈련 과정에서 중국 대학 입시 문제 데이터를 사용할 수 없기 때문에 데이터 유출로 인해 성능에 영향을 받지 않으며 신뢰성이 높습니다.

관찰 결과에 따르면 외국 시험과 비교했을 때 ChatGPT의 중국 대학 입시 문제 성적은 약간 떨어지는 것으로 나타났습니다. 따라서 국내 학생들은 당분간 ChatGPT 시험에 합격하지 못한다고 너무 걱정할 필요가 없습니다. 하지만 기사에서 언급한 장문 요약 기능이 GPT4-32K에서 대폭 향상됐고, 국내 대형 모델 역시 중국 데이터에 더욱 최적화됐다. 따라서 향후 대형 모델 대학 입시 문제에서는 더욱 인상적인 성과를 기대할 수 있다.

또한, ChatGPT를 활용해 대학 입시 문제를 해결한다는 아이디어는 어느 지역의 시험 문제가 더 어려운지에 대한 네티즌들의 논쟁에 답할 수 있을지도 모릅니다.

위 내용은 ChatGPT가 중국 대학 입학 시험에 참여하여 국가 A 및 B 시험을 제공했을 때 심각하게 편향된 것으로 나타났습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!