OpenAI CEO는 규모 확장이 발전을 위한 유일한 방법은 아니며 거대 AI 모델 시대가 끝날 수도 있다고 말합니다.

4월 18일자 OpenAI의 챗봇인 ChatGPT가 인공지능에 대한 관심과 투자를 불러일으킬 정도로 강력하다고 합니다. 그러나 회사의 CEO인 샘 알트만(Sam Altman)은 기존 연구 전략이 실패했으며 미래의 AI 발전에는 새로운 아이디어가 필요하다고 믿습니다.

최근 몇 년 동안 OpenAI는 기존 기계 학습 알고리즘을 이전에는 상상할 수 없었던 규모로 확장하여 처리 언어 분야에서 일련의 인상적인 발전을 이루었습니다. 가장 최근에 개발된 프로젝트는 GPT-4로, 1억 달러가 넘는 비용으로 수조 단어의 텍스트와 수천 개의 강력한 컴퓨터 칩을 사용하여 훈련되었다고 말합니다.

그러나 Altman은 AI의 미래 발전이 더 이상 모델을 더 크게 만드는 데 달려 있지 않다고 말했습니다. 그는 MIT 행사에서 "우리는 시대의 끝에 와 있다고 생각합니다. 이 시대에는 모델이 점점 더 커졌습니다. 이제 우리는 모델을 다른 방식으로 만들 것입니다."라고 말했습니다.

Altman의 발언은 새로운 AI 알고리즘을 개발하고 배포하는 경쟁에서 예상치 못한 전환을 나타냅니다. 지난 11월 ChatGPT를 출시한 이후 Microsoft는 기본 기술을 활용하여 Bing 검색 엔진에 챗봇을 추가했으며 Google은 Bard라는 경쟁 제품을 출시했습니다. 많은 사람들이 업무나 개인 작업에 도움을 주기 위해 이 새로운 챗봇을 사용해 보고 싶어합니다.

동시에 Anthropic, AI21, Cohere 및 Character.AI를 포함하여 자금이 풍부한 많은 스타트업이 OpenAI를 따라잡기 위해 더 큰 알고리즘을 구축하는 데 상당한 리소스를 투자하고 있습니다. ChatGPT의 초기 버전은 GPT-3을 기반으로 구축되었지만 이제 사용자는 더욱 강력한 GPT-4 지원 버전에도 액세스할 수 있습니다.

Altman의 진술은 또한 모델을 확장하고 훈련을 위해 더 많은 데이터를 제공하는 전략을 채택한 후 GPT-4가 OpenAI의 마지막 주요 성과가 될 수 있음을 암시합니다. 그러나 그는 현재의 방법을 대체할 수 있는 연구 전략이나 기술을 밝히지 않았습니다. OpenAI는 GPT-4를 설명하는 논문에서 자사의 추정치가 모델 확장으로 인한 수익 감소를 보여준다고 밝혔습니다. 회사가 구축할 수 있는 데이터 센터의 수와 구축 속도에는 물리적인 한계도 있다고 Altman은 말했습니다.

Google에서 인공 지능 분야에 종사했던 Cohere 공동 창립자 Nick Frosst는 “지속적으로 모델 크기를 늘리는 것은 무한한 해결책이 아니다”라는 Altman의 말이 옳다고 말했습니다. 그는 GPT-4 및 기타 변환기 유형에 대한 기계 학습 모델(편집 그룹: 변환기는 말 그대로 변환기로 번역되며, GPT는 Generative pre-trained Transformers의 약어로, 변환기를 기반으로 하는 생성적 사전 훈련 모델을 의미함)가 진행되고 있다고 믿습니다. 더 이상 스케일링에 관한 것이 아닙니다.

Frost는 다음과 같이 덧붙였습니다. “트랜스포머를 더 좋고 더 유용하게 만드는 방법은 여러 가지가 있으며, 그 중 많은 방법은 모델에 매개변수를 추가하는 것과 관련이 없으며 인간의 피드백을 기반으로 한 추가 조정이 모두 가능합니다.

OpenAI의 언어 알고리즘 제품군에서는 각 버전이 인공 신경망으로 구성되어 있습니다. 이 소프트웨어의 디자인은 훈련 후 뉴런이 서로 상호 작용하는 방식에서 영감을 얻었습니다. 지정된 텍스트 문자열을 따라야 합니다.

2019년 OpenAI는 첫 번째 언어 모델 GPT-2를 출시했습니다. 이는 최대 15억 개의 매개변수를 포함하며 뉴런 사이의 조정 가능한 연결 수를 측정합니다. 이는 부분적으로 확장하면 모델의 일관성이 향상된다는 OpenAI 연구원의 발견 덕분에 매우 큰 숫자입니다.

2020년 OpenAI는 최대 1,750억 개의 매개변수를 갖춘 더 큰 모델인 GPT-2의 후속 모델인 GPT-3을 출시했습니다. 시, 이메일 및 기타 텍스트를 생성하는 GPT-3의 광범위한 능력으로 인해 다른 회사와 연구 기관은 자체 AI 모델을 GPT-3와 유사하거나 더 큰 규모로 확장할 수 있다고 믿게 되었습니다.

ChatGPT가 작년 11월에 데뷔한 후 밈 제작자와 기술 전문가들은 GPT-4가 출시되면 더 많은 매개변수를 갖춘 더 복잡한 모델이 될 것이라고 추측했습니다. 그러나 OpenAI가 마침내 새로운 AI 모델을 발표했을 때 회사는 그 크기가 얼마나 될지는 밝히지 않았습니다. 아마도 크기가 더 이상 중요한 유일한 요소가 아니었기 때문일 것입니다. MIT 행사에서 Altman은 GPT-4의 훈련 비용이 1억 달러인지 물었고 그는 "그 이상입니다"라고 답했습니다.

OpenAI는 GPT-4의 규모와 내부 작동을 비밀로 유지하고 있지만 더 이상 성능 향상을 위해 규모 확장에만 의존하지 않을 가능성이 높습니다. 한 가지 가능성은 회사가 ChatGPT의 기능을 향상시키기 위해 "인간 피드백을 통한 강화 학습"이라는 방법을 사용했다는 것입니다. 여기에는 인간이 모델 답변의 품질을 판단하여 고품질로 평가될 가능성이 높은 서비스를 제공하도록 안내하는 것이 포함됩니다. 답변.

GPT-4의 놀라운 능력은 많은 전문가들을 경악시켰고 AI가 경제를 변화시킬 수 있는 잠재력에 대한 논쟁과 허위 정보를 퍼뜨리고 실업을 야기할 수 있다는 우려를 촉발시켰습니다. 최근 Tesla CEO Elon Musk를 포함하여 많은 기업가와 AI 전문가가 GPT-4보다 더 강력한 모델 개발에 대한 6개월 유예를 요구하는 공개 서한에 서명했습니다.

MIT 행사에서 Altman은 자신의 회사가 현재 GPT-5를 개발하고 있지 않음을 확인했습니다. 그는 "이 공개 서한의 이전 버전에서는 OpenAI가 GPT-5를 교육하고 있다고 주장했습니다. 사실 우리는 이 작업을 수행하지 않으며 단기적으로는 수행하지 않을 것입니다."라고 덧붙였습니다.

위 내용은 OpenAI CEO는 규모 확장이 발전을 위한 유일한 방법은 아니며 거대 AI 모델 시대가 끝날 수도 있다고 말합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!