AI는 대학 수학 문제를 몇 초 만에 해결하고 80% 이상의 정확도를 달성하며 질문 교사 역할도 합니다.
- WBOY앞으로
- 2023-04-17 17:55:03949검색
아마 당신이 응시한 수학 시험 문제가 기계에서 생성된 것일 수도 있습니다.
MIT 학생들은 다변량 미적분학, 미분 방정식, 선형 대수학 등의 수학 주제를 아무런 노력 없이도 풀 수 있지만, 이는 기계 학습 모델을 방해합니다. 머신러닝 모델은 초등학교나 고등학교 수준의 수학 문제에만 답할 수 있고 항상 올바른 답을 찾는 것은 아니기 때문입니다.
이제 MIT, 컬럼비아 대학교, 하버드 대학교, 워털루 대학교의 연구원들은 소규모 샘플 학습과 OpenAI의 Codex를 사용하여 자동으로 프로그램을 합성하고 대학 수학 문제를 몇 초 만에 해결하여 인간 수준에 도달했습니다. 이번 연구는 미국국립과학원회보(PNAS)에 게재됐다.
또한 모델은 생성된 솔루션을 설명하고 새로운 대학 수학 문제를 빠르게 생성할 수 있습니다. 연구자들이 기계가 생성한 질문을 학생들에게 보여주었을 때, 학생들은 그 질문이 알고리즘에 의해 생성된 것인지 인간에 의해 생성된 것인지조차 알 수 없었습니다.
이 연구는 강좌 콘텐츠 생성을 간소화하는 데에도 사용될 수 있으며, 이는 수천 명의 학생이 있는 학교와 대규모 공개 온라인 강좌(MOOC)에 특히 유용합니다. 이 시스템은 학생들에게 수학 문제 해결 단계를 보여주는 온라인 교사 역할도 할 수 있습니다.
논문 주소: https://www.pnas.org/doi/epdf/10.1073/pnas.2123433119
연구 방법은 세 가지 혁신을 결합합니다.
- 다르다 이 연구는 텍스트에 대한 사전 학습을 수행하는 동시에 코드에 대한 미세 조정도 수행합니다.
- 작은 샘플 학습을 사용하여 프로그램을 합성하면 수학적 문제를 올바르게 해결할 수 있습니다. , 솔루션을 설명하고 새로운 질문을 생성합니다.
- 이 연구를 통해 생성된 새로운 질문의 예는 다음과 같습니다.
질문에 대답하고, 해결하고, 제기할 수 있는 모델
이 연구는 MIT의 18.01 단일 변수 미적분학, 18.02 다변수 미적분학, 18.03 미분 방정식, 18.05 확률 및 통계 입문, 18.06 선형 대수학, 6.042 컴퓨터 과학 수학 및 COMS3251 전산 선형 대수학의 7개 과목에서 무작위로 25개의 문제를 선택했습니다. 컬럼비아 대학.
MATH 데이터세트의 경우 연구에서는 데이터세트의 6개 주제(대수학, 계산 및 확률, 중급 대수학, 정수론, 예비 대수학, 미적분학)에서 15개 질문을 무작위로 샘플링했습니다.
이러한 프로그래밍 작업을 신경망에 입력하기 전에 연구원들은 이전 시도보다 훨씬 뛰어난 성능을 발휘할 수 있는 새로운 단계를 추가했습니다.
은 텍스트로만 사전 훈련된 GPT-3와 같은 네트워크와 다릅니다. 그들은 이러한 문제를 프로그래밍 작업으로 전환하고 프로그램 합성 및 소수 학습 기술을 적용했습니다. 수학적 문제를 프로그래밍 작업으로 바꾸는 것은 두 점 사이의 차이를 찾는 프로그램을 작성하는 것처럼 두 점 사이의 거리를 찾는 문제를 다시 작성하는 것만큼 간단할 수 있습니다.
이 연구는 텍스트에 대해 사전 훈련된 Codex뿐만 아니라 대규모 수학 문제를 해결하기 위한 프로그램을 생성할 수 있도록 코드를 미세 조정했다는 점을 언급할 가치가 있습니다.
온라인 리포지토리의 수백만 개의 코드 예제를 보여주는 사전 훈련된 모델입니다. 모델의 훈련 데이터에는 수백만 개의 자연어 단어와 수백만 줄의 코드가 포함되어 있으므로 텍스트 조각과 코드 조각 간의 관계를 학습할 수 있습니다.
아래 그림과 같이 본 연구에서는 Zero-Shot 학습과 Small-Shot 학습을 활용하여 수학 문제의 81%를 풀 수 있는 프로그램을 자동으로 생성합니다. 그런 다음 Codex를 사용하여 결과 프로그램을 해석합니다. 생성된 프로그램은 다양한 형태로 답변을 출력할 수 있습니다. 예를 들어, 특이값 분해(SVD)의 기하학적 형태를 계산하고 묘사하면 정답뿐만 아니라 그에 따른 설명도 제공됩니다! 
신경망 OpenAI Codex를 적용하여 수학적 문제를 해결, 해석 및 생성합니다.
논문의 저자 중 한 명인 Drori는 그래프나 트리를 사용하여 많은 수학적 문제를 해결할 수 있지만 텍스트로 작성된 문제를 이 표현으로 변환하는 것은 어렵다고 설명했습니다. 그러나 모델은 텍스트와 코드 사이의 관계를 학습했기 때문에 질문 코드의 몇 가지 예를 제공한 다음 코드를 실행하여 질문에 대답하기만 하면 텍스트 질문을 코드로 변환할 수 있습니다.
"텍스트만 사용하여 질문할 경우 답변이 텍스트에 있더라도 기계 학습 모델이 답변을 제공하기가 어렵습니다. 이 작업은 누락된 코드 조각과 프로그램 합성을 채웁니다."라고 Drori는 말했습니다. .
Drori는 또한 이 작업이 학부 수학 문제를 해결한 최초의 작업이며 정확도를 8%에서 80% 이상으로 향상시켰다고 덧붙였습니다.
컨텍스트 추가
수학 문제를 프로그래밍 작업으로 바꾸는 것이 항상 쉬운 것은 아닙니다. 일부 문제에서는 연구자가 신경망이 문제를 올바르게 처리할 수 있도록 컨텍스트를 추가해야 합니다. 학생은 강좌를 수강하면서 이러한 배경 지식을 배우게 되지만, 신경망에는 연구자가 명시적으로 명시하지 않는 한 이러한 배경 지식이 없습니다.
예를 들어, 본문에 나오는 네트워크는 통신 네트워크가 아니라 신경망을 의미한다는 점을 설명해야 합니다. 또는 사용할 프로그래밍 패키지를 모델에 알려야 할 수도 있습니다. 또한 특정 정의를 제공해야 할 수도 있습니다. 예를 들어 카드 놀이에 관한 질문의 경우 각 덱에 52장의 카드가 포함되어 있음을 모델에 알려야 할 수도 있습니다.
이 연구는 포함된 컨텍스트 및 예제와 함께 이러한 프로그래밍 작업을 사전 훈련되고 미세 조정된 신경망에 자동으로 공급하여 일반적으로 정답을 생성하는 프로그램을 출력합니다. 문제의 80% 이상이 정답이었습니다.
연구원들은 신경망에 주제에 대한 일련의 수학적 질문을 제공한 다음 새로운 질문을 생성하는 방식으로 모델을 사용하여 질문을 생성했습니다. 예를 들어, 수평선과 수직선의 양자 검출 문제가 있는데, 이는 대각선의 양자 검출이라는 새로운 문제를 야기합니다. 그러니 단순히 기존 문제의 값과 변수를 대체하여 새로운 문제를 만들어내는 것이 아닙니다.
사람이 묻는 질문과 기계가 생성한 질문
연구원들은 대학생들에게 기계가 생성한 질문을 보여줌으로써 이러한 질문을 테스트했습니다. 연구자들은 학부 수학 과정에서 학생들에게 무작위로 10개의 문제를 주었는데, 5개는 인간이 만들었고 5개는 기계가 생성했습니다.
학생들은 기계 생성 문제가 알고리즘에 의해 생성되었는지 인간에 의해 생성되었는지 구분할 수 없었고, 과정의 난이도와 적절성에 대해 유사한 평가를 받았습니다.
그러나 Drori는 이 작업이 인간 교수를 대체하기 위한 것이 아니라고 지적했습니다.
"정확도는 이제 80%에 도달했지만 100%에는 도달하지 못할 것입니다. 문제를 해결할 때마다 누군가는 더 어려운 문제를 묻게 됩니다. 하지만 이 작업은 사람들이 머신러닝을 사용할 수 있는 방법을 제공합니다. 더 많은 문제를 해결하기 위해서는 새로운 어려움이 있는 분야가 필요합니다.”라고 Drori는 말했습니다.
연구팀은 방법의 성공에 기뻐하며 수학적 증명을 처리하는 작업을 확장했습니다. 또한 현재 모델이 시각적 구성 요소를 사용하여 질문에 답하거나 문제를 해결할 수 없는 문제를 해결할 계획입니다. 복잡하고 계산하기 어려운 문제.
이러한 장애물을 극복하는 것 외에도 연구에서는 모델을 수백 개의 코스로 확장하는 것을 목표로 합니다. 이러한 과정을 통해 더 많은 데이터를 생성하여 자동화를 높이고 과정 설계 및 커리큘럼에 대한 통찰력을 제공합니다.
위 내용은 AI는 대학 수학 문제를 몇 초 만에 해결하고 80% 이상의 정확도를 달성하며 질문 교사 역할도 합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!