Sam Altman이 OpenAI에 관해 이야기합니다. GPU 부족 공황에 직면한 GPT-3는 오픈 소스일 수 있습니다.

ChatGPT 등장 이후 대형 모델과 AI 기술이 전 세계적으로 큰 관심을 끌었습니다. 한편으로 사람들은 대형 모델의 새로운 기능에 감탄하는 한편, 인공 지능의 제어 가능성과 향후 개발에 대해 우려하고 있습니다. 올해는 튜링상 수상자 제프리 힌튼(Geoffrey Hinton), 요슈아 벤지오(Yoshua Bengio) 등 AI 분야의 많은 전문가들이 대형 AI 모델이 일련의 위험을 초래할 것이라고 공동 경고했고, 일부에서는 후속 대형 AI 모델 개발 중단을 요구하기도 했다. GPT-4용 AI 모델.

OpenAI는 ChatGPT, GPT-4 등 대형 모델을 개발한 회사로서 의심할 여지 없이 선두로 밀려났습니다. OpenAI CEO 샘 알트만(Sam Altman)은 현재 인공지능에 대한 사람들의 '두려움'을 불식시키고 OpenAI 제품 개발자와 사용자의 의견을 듣기 위해 글로벌 강연을 진행 중이다.

Fortune에 따르면 지난 5월 Sam Altman은 일부 개발자 및 스타트업 창업자들과 비공개로 만나 OpenAI의 로드맵과 과제에 대해 이야기했습니다. 이번 비공개 회의에 참석한 참가자 중 한 명인 Humanloop의 공동 창립자이자 CEO인 Raza Habib은 최근 블로그에서 OpenAI의 제품 기획 및 개발 병목 현상을 언급했습니다.

원래 블로그는 삭제됐는데 일부 네티즌들이 블로그 스냅샷(사본)을 올렸는데요. 블로그의 구체적인 내용을 살펴보겠습니다.

현재 OpenAI가 직면하고 있는 가장 큰 문제는 제한적이라는 점입니다. by GPU

매우 심각한 GPU 제한으로 인해 일부 단기 계획의 구현도 지연되었습니다. 요즘 가장 일반적인 고객 불만은 API의 안정성과 속도에 관한 것입니다. Sam은 문제를 인정하며 고객이 불만을 제기하는 대부분의 문제는 GPU 부족 때문이라고 설명했습니다.

텍스트 처리와 관련하여 더 긴 32k 컨텍스트는 아직 더 많은 사람들이 사용할 수 없습니다. 현재 OpenAI는 Attention 메커니즘의 O(n^2) 확장 문제를 완전히 극복하지 못했습니다. OpenAI는 곧 100k-1M 토큰 컨텍스트 창(올해 내) 텍스트 처리를 달성할 수 있을 것으로 보이지만 더 큰 텍스트 처리 창에는 추가 진전이 필요합니다. . 연구 혁신.

그뿐만 아니라 현재 미세 조정 API도 GPU 공급에 의해 제한됩니다. OpenAI는 아직 어댑터나 LoRa와 같은 효율적인 미세 조정 방법을 사용하지 않으므로 미세 조정을 실행하고 관리하는 데 컴퓨팅 집약적입니다. Sam은 앞으로 더 나은 미세 조정 기술이 도입될 것이며 연구 모델 전용 커뮤니티를 제공할 수도 있다고 밝혔습니다.

또한 전용 용량 제공도 GPU 공급에 따라 제한됩니다. OpenAI는 또한 전용 용량을 제공하여 고객에게 모델의 비공개 복사본을 제공합니다. 이 서비스를 이용하려면 고객이 선불로 $100,000를 약정해야 합니다.

OpenAI의 단기 로드맵

대화 중에 Sam은 주로 두 단계로 구분되는 OpenAI API의 단기 로드맵을 공유했습니다.

2023년 로드맵:

• OpenAI 상단 우선순위는 출시입니다 더 저렴하고 더 빠른 GPT-4 - 전반적으로 OpenAI의 목표는 인텔리전스 비용을 최대한 줄이는 것이므로 API 비용은 시간이 지남에 따라 감소합니다.
• 더 긴 컨텍스트 창 - 가까운 미래에 컨텍스트 창이 최대 100만 개의 토큰에 이를 수 있습니다.
• Nudge API - Nudge API는 최신 모델로 확장되지만 정확한 형태는 개발자가 결정합니다.
• Status API - 이제 채팅 API를 호출할 때 동일한 대화 내역을 계속해서 반복해서 동일한 토큰을 지불해야 합니다. API의 향후 버전에서는 세션 기록을 기억할 수 있습니다.
• 2024년을 향한 길:
• 다중 모드 – 이는 GPT-4 릴리스의 일부로 시연되었지만 더 많은 GPU가 온라인에 나올 때까지 모든 사람에게 확장되지는 않습니다.

플러그인에는 PMF가 없으며 곧 API에 포함되지 않습니다.

많은 개발자가 API를 통해 ChatGPT 플러그인에 액세스하는 데 관심이 있지만 Sam은 해당 플러그인이 그렇게 될 것이라고 생각하지 않는다고 말했습니다. 조만간 석방될 것입니다. 브라우징 이외의 플러그인을 사용하면 아직 PMF가 없음을 의미합니다. Sam은 많은 사람들이 애플리케이션이 ChatGPT 내에 있기를 원하지만 실제로 원하는 것은 애플리케이션 내의 ChatGPT라고 지적했습니다.

OpenAI는 ChatGPT와 같은 경쟁 외에는 고객과의 경쟁을 피할 것입니다.

많은 개발자는 OpenAI가 새로운 제품을 출시할 때 OpenAI API를 사용하여 구축된 앱에 대해 불안감을 느낀다고 말합니다. 왜냐하면 OpenAI가 결국 그들과 경쟁하는 제품을 출시할 수도 있기 때문입니다. 제품. Sam은 OpenAI가 ChatGPT 외에 더 많은 제품을 출시하지 않을 것이라고 말했습니다. 그는 킬러 앱을 보유한 훌륭한 플랫폼 회사가 많이 있으며 ChatGPT를 사용하면 자체 제품의 고객이 되어 API를 더 좋게 만들 수 있다고 말했습니다. ChatGPT의 비전은 초지능 작업 보조자가 되는 것이지만 OpenAI가 다루지 않는 다른 GPT 사용 사례도 많이 있습니다.

규제는 필요하지만 오픈소스도 마찬가지입니다.

Sam은 미래 모델의 규제를 옹호하지만 기존 모델이 위험하다고 생각하지 않으며 이를 규제하거나 금지하는 것이 큰 문제의 실수가 될 것이라고 믿습니다. 그는 다시 한번 오픈소스의 중요성을 강조하며 OpenAI가 오픈소스 GPT-3를 고려하고 있다고 말했다. OpenAI가 소스 공개를 느리게 하는 이유 중 하나는 이러한 대규모 언어 모델을 적절하게 관리할 수 있는 능력을 갖춘 사람과 회사가 많지 않다고 느끼기 때문입니다.

스케일링의 법칙은 여전히 ​​존재합니다

최근 많은 기사에서 "거대 AI 모델의 시대는 끝났다"고 주장했습니다. 샘은 자신이 의미하는 바를 정확히 전달하지 못했다고 말했습니다.

OpenAI의 내부 데이터에 따르면 확장의 법칙은 여전히 ​​유효하며 모델 크기를 늘리면 성능이 지속적으로 향상됩니다. 그러나 OpenAI는 이미 단 몇 년 만에 모델 크기를 수백만 배로 늘렸으며 계속해서 그렇게 하는 것은 지속 불가능하기 때문에 모델 크기가 항상 동일한 규모로 증가할 수는 없습니다. 그러나 이것이 OpenAI가 모델을 더 크게 만들려는 노력을 중단한다는 의미는 아니지만 규모가 커지는 대신 매년 크기가 두 배 또는 세 배가 될 수 있음을 의미합니다.

확장 모델이 여전히 유효하다는 사실은 AGI 개발에 중요한 의미를 갖습니다. 확장의 아이디어는 아마도 AGI를 구축하는 데 필요한 대부분의 요소를 이미 갖추고 있으며 나머지 작업의 대부분은 기존 방법을 사용하여 더 큰 모델과 더 큰 데이터 세트로 확장하는 것입니다. 모델 확장 시대가 끝난다면 AGI에 도달하기까지는 훨씬 더 오랜 시간이 걸릴 것입니다. 확장의 법칙이 여전히 적용된다는 사실은 우리가 더 짧은 시간에 AGI를 달성할 것임을 의미합니다.

위 내용은 Sam Altman이 OpenAI에 관해 이야기합니다. GPU 부족 공황에 직면한 GPT-3는 오픈 소스일 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!