일반 인공지능의 도약, GPT-4의 초기 실험

최근 마이크로소프트는 '일반 인공지능의 불꽃, GPT-4의 초기 실험'이라는 제목의 154페이지 분량의 논문을 발표했습니다.

글의 요점은 GPT-4가 아직 완성되지는 않았지만 이미 일반 인공지능의 초기 버전이라고 볼 수 있다는 것입니다.

전체 텍스트가 거의 70,000단어이므로 이 기사에서는 논문의 내용을 다듬고 해석할 것입니다. 관심이 있으시면 원문을 읽어보실 수 있습니다. https://arxiv.org/pdf/2303.12712.pdf

Scientists Microsoft는 GPT-4의 지능 수준이 인간 수준에 매우 가깝고 이전에 ChatGPT에서 사용했던 GPT-3.5와 같은 이전 모델을 훨씬 능가하는 일반적인 인공 지능 시스템이라고 생각합니다. AGI 초기 단계이지만 완전한 버전은 아닙니다.

1994년 52명의 심리학자들은 지능에 대해 다음과 같이 정의했습니다. 지능은 추론, 계획, 문제 해결, 추상적 사고, 복잡한 아이디어 이해, 빠른 학습, 경험을 통한 학습 등을 포함한 일반적인 정신적 능력입니다.

이 Microsoft 문서의 AGI는 이러한 지능 정의에 따라 인간 수준에 도달하거나 이를 초과하는 시스템을 의미합니다.

이를 증명하기 위해 GPT-4를 테스트하는 방법입니다. 대규모 언어 모델에 대한 평가 벤치마크는 많습니다. 예를 들어, 슈퍼 내츄럴 지침과 큰 벤치. GPT-4 지능의 핵심 측면은 다재다능함, 즉 고전적인 자연어 처리 작업의 범위를 뛰어넘는 모든 주제와 분야를 표면적으로 이해하고 연결하는 능력입니다. 이러한 한계를 극복하기 위해 연구팀은 인간의 창의성과 호기심을 활용하여 다양한 새롭고 어려운 과제를 재생산하는 GPT-4를 테스트하기 위해 머신러닝보다 전통적인 심리학에 더 가까운 평가 방법을 제안했습니다. GPT-4.

연구팀은 다양한 문제를 자연어, 프로그래밍 및 수학, 계획 및 문제 해결, 인간 심리 및 상식의 4가지 주요 능력 범주로 나누었습니다.

다음으로 GPT-4의 기능을 다양한 측면에서 설명하기 위해 몇 가지 훌륭한 예를 사용할 것입니다.

예 1: 학제간 결합 능력

이러한 작업에는 텍스트나 코드를 생성하기 위해 여러 분야 및 분야의 지식이나 기술을 통합하고 통합해야 하는 경우가 많습니다. 예를 들어, 그림 2.2: 학제간 작업에 대한 GPT-4와 ChatGPT(GPT-3.5)의 비교: 셰익스피어 스타일로 무한히 많은 소수의 존재를 증명하는 예를 살펴보겠습니다.

GPT-4와 ChatGPT(GPT-3.5) 모두 이 질문에 답변했습니다. GPT-4가 어떤 답변이 더 나은지 평가하도록 합니다. 즉, GPT-4가 자체(GPT-4)를 평가하고 ChatGPT(GPT- 3.5)의 답변:

두 학생 모두 소수가 무한히 많다는 증명을 셰익스피어 스타일로 쓴 것 같고, 둘 다 증명의 기본 아이디어인 유한 소수만 있다고 가정하고, 그런 다음 더 큰 소수를 구성하면 이 가정과 모순됩니다. 또한 셰익스피어의 스타일에 맞게 적절한 언어와 어휘를 사용했습니다. 하지만 GPT-4는 운율과 운율을 더 잘 활용하여 대화를 더욱 시적이고 드라마틱하게 만든다고 생각합니다. ChatGPT(GPT-3.5)는 운율을 사용하지 않으며 리듬이 일관되지 않습니다. 나는 또한 GPT-4가 두 개의 반대 세력, 하나는 자신감 있고 다른 하나는 회의적인 세력을 만드는 데 더 나은 역할을 했다고 생각합니다. 반면 학생 B는 같은 페이지에 있고 사랑에 빠진 로미오와 줄리엣을 사용했습니다. 따라서 GPT-4에 더 높은 등급을 부여하여 A를 부여하고 ChatGPT(GPT-3.5)에 B를 부여합니다.

예제 2: 프로그래밍 능력

테스트에서 GPT-4가 사전 학습 중에 동일하거나 유사한 코드가 표시되는 것을 방지하기 위해 연구팀은 의도적으로 GPT-4 사전 학습 후 출시된 새로운 코드 100개를 LeetCode로 사용했습니다. 시험 문제는 테스트를 위한 벤치마크 역할을 합니다. 그림에서 pass@K는 k번 시도 후의 성공 확률을 나타냅니다. k가 5일 때 GPT-4는 인간의 성능을 완전히 능가한다는 것을 알 수 있습니다. (실제로 k=1, 중간 수준 및 어려운 프로그래밍 문제에서 인간의 성능을 능가했습니다.)

GPT-4는 프로그래밍의 달인이며 AGI 모델은 우리의 미래 프로그래밍을 완전히 바꿀 수 있다는 것이 밝혀졌습니다. .

논문이 매우 길고 위에서 언급한 것보다 예제가 훨씬 많습니다. 여기서는 두 개만 선택했습니다. 관심 있는 분들은 논문의 원문을 읽어보세요.

논문은 마침내 보다 일반적인 인공지능으로 가는 길에서 다음과 같은 측면에서 대규모 언어 모델이 더욱 개선되어야 함을 지적합니다. 예를 들면 환각과 자신감, 장기 기억, 지속적인 학습, 개인화, 계획, 개념적 발산(섬광으로도 알려져 있음), 투명성, 해석 가능성, 일관성, 인지 오류, 비합리적 사고, 신호에 대한 무모한 반응 등이 있습니다. 더.

위 내용은 일반 인공지능의 도약, GPT-4의 초기 실험의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!