GPT-3는 오픈 소스로 공개될 예정입니다! Sam Altman은 GPU에 대한 긴급한 필요성이 있으며 내년에 GPT-4 다중 모드 기능을 사용할 수 있을 것이라고 밝혔습니다.

청문회가 끝난 후 Sam Altman은 그의 팀을 데리고 유럽으로 "여행"을 떠났습니다.

최근 인터뷰에서 Altman은 자신의 AI의 모든 발전이 GPU가 따라잡을 때까지 기다려야 함을 숨기지 않았습니다.

OpenAI의 API와 제품 기획에 대해 이야기해 많은 이들의 관심을 끌었습니다.

많은 네티즌들이 알트만의 솔직함을 좋아한다고 표현했어요.

GPT-4의 다중 모드 기능은 GPU가 충분하다면 대부분의 Plus 사용자가 2024년에 사용할 수 있게 될 것이라는 점을 언급할 가치가 있습니다.

큰형 Microsoft는 OpenAI용 슈퍼컴퓨터를 구축하는 데 12억 달러를 지출했는데, 이는 GPT-4 운영에 필요한 컴퓨팅 성능을 충족시키기에는 턱없이 부족합니다. 결국 GPT-4 매개변수는 100조라고 하네요.

또한 Altman은 OpenAI의 오픈 소스 계획에 GPT-3도 포함되어 있다고 밝혔습니다.

이 인터뷰에서 OpenAI의 "비밀"이 너무 많이 드러났는지 모르겠습니다. 소스 원고가 삭제되었으니 빨리 코딩해 주세요.

Highlights

최근 인터뷰는 AI 개발 플랫폼 Humanloop의 CEO인 Raza Habib이 진행하여 알트만 외 개발자 20명을 인터뷰했습니다.

이 토론에서는 실질적인 개발자 문제뿐만 아니라 OpenAI의 사명 및 AI의 사회적 영향과 관련된 더 큰 문제도 다룹니다.

다음은 핵심 사항입니다.

1. OpenAI에는 GPU가 시급히 필요합니다.

2. OpenAI의 단기 로드맵: 2024년 GPT-4 멀티모달 오픈

3. 합격 API 액세스 ChatGPT 플러그인은 가까운 시일 내에 출시되지 않습니다

4. OpenAI는 ChatGPT를 매우 스마트한 작업 도우미로 만드는 것을 목표로 "킬러 애플리케이션"인 ChatGPT만을 만듭니다

5. GPT-3는 오픈 소스 계획입니다

6. 모델 성능의 스케일링 규칙은 계속 유효합니다

다음으로 Sam Altman이 말한 6가지 요점을 소개하겠습니다.

현재 OpenAI는 GPU에 크게 의존하고 있습니다

인터뷰의 모든 주제는 "OpenAI는 GPU가 너무 부족합니다."를 중심으로 진행되었습니다.

이로 인해 많은 단기 계획이 지연되었습니다.

현재 OpenAI의 많은 고객들이 API의 신뢰성과 속도에 대해 불만을 표하고 있습니다. Sam Altman은 GPU가 너무 짧다는 것이 주된 이유라고 설명했습니다.

OpenAI는 NVIDIA DGX-1 슈퍼컴퓨터

32k 토큰을 지원하는 컨텍스트 길이의 경우 더 많은 사람들에게 출시할 수 없습니다.

OpenAI는 아직 기술적인 장애물을 극복하지 못했기 때문에 올해 10만~100만 개의 토큰을 지원할 수 있는 여건을 갖추게 될 것으로 보이지만 연구에 있어서 획기적인 진전이 필요할 것입니다.

Fine-Tuning API도 현재 GPU 가용성에 따라 제한됩니다.

OpenAI는 아직 어댑터나 LoRa와 같은 효율적인 미세 조정 방법을 사용하지 않으므로 미세 조정을 실행하고 관리하는 데 컴퓨팅 집약적입니다.

그러나 앞으로는 미세 조정에 대해 더 나은 지원을 제공할 것입니다. OpenAI는 커뮤니티 기부 모델의 시장을 호스팅할 수도 있습니다.

마지막으로 전용 용량 제공도 GPU 가용성에 따라 제한됩니다.

올해 초 네티즌들은 OpenAI가 고객이 회사의 새로운 기계 학습 모델을 전용 용량에서 실행할 수 있도록 새로운 개발자 플랫폼인 Foundry를 조용히 출시하고 있다고 밝혔습니다.

이 제품은 "대규모 워크로드를 실행하는 최첨단 고객을 위해 설계되었습니다." 이 서비스를 이용하려면 고객은 100,000달러의 선불 요금을 기꺼이 지불해야 합니다.

그러나 공개된 사진 정보에서 알 수 있듯이 예시가 저렴하지는 않습니다.

경량 버전의 GPT-3.5를 실행하려면 위임 3개월에 $78,000, 1년에 $264,000가 소요됩니다.

GPU 소모가 비싸다는 점은 반대편에서도 알 수 있습니다.

OpenAI 단기 로드맵

Altman은 OpenAI API에 대한 임시 단기 로드맵을 공유했습니다.

2023년:

· 빠르고 저렴한 GPT-4――이것이 OpenAI의 최우선 과제입니다.

일반적으로 OpenAI의 목표는 '스마트 비용'을 최대한 줄이는 것입니다. 따라서 그들은 API 비용을 지속적으로 낮추기 위해 열심히 노력할 것입니다.

· 더 길어진 컨텍스트 창 ――가까운 미래에는 컨텍스트 창이 최대 100만 개의 토큰을 지원할 수도 있습니다.

· 미세 조정 API – 미세 조정 API는 최신 모델까지 확장되지만 정확한 형태는 개발자가 실제로 원하는 것이 무엇인지에 따라 달라집니다.

· 메모리가 있는 API ―― 현재는 대부분의 토큰이 위 전송에서 낭비되고 있습니다. 앞으로는 대화 내역을 기억할 수 있는 API 버전이 나올 예정입니다.

2024년:

· 멀티모달 기능 ――GPT-4는 출시 당시 강력한 멀티모달 기능을 시연했지만 GPU가 만족될 때까지 이 기능을 확장할 수 없습니다. 모든 사람.

플러그인에는 "PMF가 없으며" 단기적으로는 API에 나타나지 않습니다.

많은 개발자가 API를 통해 ChatGPT 플러그인에 액세스하는 데 관심이 많지만 Sam은 이러한 플러그인이 곧 석방되지 마세요.

"브라우징 외에는 플러그인 시스템에서 PMF를 찾지 못했습니다."

그는 또한 많은 사람들이 자신의 제품을 ChatGPT에 넣고 싶어하지만 실제로 필요한 것은 다음과 같다고 지적했습니다. ChatGPT를 제품에 적용합니다.

ChatGPT를 제외하고 OpenAI는 더 이상 제품을 출시하지 않습니다.

OpenAI의 모든 움직임은 개발자를 떨게 만듭니다.

많은 개발자들은 OpenAI가 자신과 경쟁하는 제품을 출시할 수 있는데 OpenAI API를 사용하여 애플리케이션을 구축하는 것이 불안하다고 말했습니다.

그리고 Altman은 OpenAI가 ChatGPT 외부에 더 많은 제품을 출시하지 않을 것이라고 말했습니다.

그의 의견으로는 훌륭한 회사에는 "킬러 애플리케이션"이 있으며 ChatGPT는 이 기록적인 애플리케이션이 될 것입니다.

ChatGPT의 비전은 매우 스마트한 작업 도우미가 되는 것입니다. OpenAI는 다른 많은 GPT 사용 사례를 다루지 않습니다.

규제는 필요하지만 오픈 소스도 마찬가지입니다.

Altman은 미래 모델에 대한 규제를 요구하지만 기존 모델이 위험하다고 생각하지 않습니다.

그는 기존 모델을 규제하거나 금지하는 것은 큰 실수라고 믿습니다.

인터뷰에서 그는 오픈소스의 중요성에 대한 자신의 믿음을 거듭 강조하며 OpenAI가 GPT-3 오픈소스화를 고려하고 있다고 말했습니다.

이제 OpenAI가 오픈소스가 아닌 이유 중 하나는 얼마나 많은 개인과 기업이 대규모 모델을 호스팅하고 제공할 수 있는지 의심하기 때문입니다.

모델 성능의 '스케일링 법칙'은 여전히 ​​유효합니다

최근 거대 인공지능 모델의 시대는 끝났다고 주장하는 기사가 많습니다. 그러나 이는 알트만의 원래 의도를 정확하게 반영하지 않습니다.

OpenAI의 내부 데이터에 따르면 모델 성능에 대한 확장 법칙은 여전히 ​​유효하며 모델을 더 크게 만들면 계속해서 성능이 향상됩니다.

그러나 OpenAI는 단 몇 년 만에 모델을 수백만 번 확장했기 때문에 이러한 확장 속도를 유지할 수 없습니다.

이것은 OpenAI가 계속해서 모델을 더 크게 만들려고 시도하지 않는다는 의미가 아니라 단지 몇 배의 규모가 아니라 매년 1x/2x씩만 증가할 것이라는 의미입니다. 확장법이 계속해서 유효하다는 사실은 AGI 개발 일정에 중요한 영향을 미칩니다.

확장 가정은 아마도 AGI를 구축하는 데 필요한 대부분의 부품을 이미 보유하고 있으며 나머지 작업의 대부분은 기존 방법을 더 큰 모델과 더 큰 데이터 세트로 확장하는 것입니다.

스케일링의 시대가 끝난다면 AGI는 더욱 멀어질 것으로 예상해야 합니다. 스케일링 법칙의 지속적인 타당성은 AGI 구현 일정이 더 짧아질 것임을 강력하게 암시합니다.

네티즌들의 뜨거운 댓글

일부 네티즌들은 농담으로

OpenAI: 우리 해자를 보호하려면 규정을 제정해야 합니다. OpenAI는 Meta가 우리 해자에 오줌을 싸고 있다고 다시 한 번 언급했습니다. 이는 또한 우리 모델이 오픈 소스여야 함을 의미합니다.

어떤 사람들은 GPT-3가 LLMa처럼 실제로 오픈 소스라면 M1 칩에서 실행하는 데 약 5일 정도 걸릴 것이라고 말합니다.

커뮤니티 개발자는 모델을 오픈 소스로 제공하는 경우 OpenAI가 GPU 병목 현상을 해결하도록 도울 수 있습니다. 며칠 내에 개발자는 이를 CPU 및 에지 장치에서 실행할 수 있게 됩니다.

GPU 부족과 관련하여 일부 사람들은 OpenAI의 자본 체인에 문제가 있고 이를 감당할 수 없다고 생각합니다.

그러나 일부 사람들은 분명히 공급이 부족하다고 말합니다. 칩 제조에 혁명이 일어나지 않는 한, 소비자 GPU에 비해 ​​항상 공급 부족이 있을 가능성이 높습니다.

일부 네티즌들은 엔비디아의 가치가 여전히 과소평가되고 있다고 의심하시나요? 컴퓨팅 수요의 단계적 변화는 수년 동안 지속될 수 있습니다...

Nvidia는 이제 막 1조 달러 클럽에 합류했습니다. 이렇게 무제한적인 컴퓨팅 전력 수요는 2조 달러가 넘는 칩 공장을 갖춘 세상을 만들 수도 있습니다. 달러.

참조:

https://www.php.cn/link/c55d22f5c88cc6f04c0bb2e0025dd70b

https://www.php.cn/link/d5776aeecb3c45ab15adce6f5cb355f3

위 내용은 GPT-3는 오픈 소스로 공개될 예정입니다! Sam Altman은 GPU에 대한 긴급한 필요성이 있으며 내년에 GPT-4 다중 모드 기능을 사용할 수 있을 것이라고 밝혔습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!