메타는 내년에 GPT-4급 대형 모델의 새로운 오픈소스 버전을 출시할 계획이다. 매개변수 개수는 라마 2의 몇 배에 달할 예정이다. 사용자들은 이를 상업적으로 무료로 사용할 수 있다.
- WBOY앞으로
- 2023-09-17 22:49:08671검색
외신 '월스트리트저널'에 따르면 메타는 새로운 대형 언어 모델 개발에 박차를 가하고 있으며 그 성능은 GPT-4와 완전히 일치하며 내년 출시될 것으로 예상된다.
또한 뉴스에서는 Meta의 새로운 대형 언어 모델이 Llama 2보다 몇 배 더 커질 것이며 오픈 소스일 가능성이 높으며 무료 상업적 사용을 지원할 것이라고 특별히 강조했습니다.
Meta가 연초 LlaMA를 '우연히' 유출한 이후 7월 Llama 2의 오픈소스 출시까지 Meta는 AI 오픈소스의 기치인 이 AI 물결에서 점차 독특한 위치를 찾아냈습니다. 지역 사회.
인력은 계속 바뀌고, 모델 기능에는 결함이 있어서 오픈소스 소프트웨어에만 의존하여 문제를 해결할 수 있습니다.
연초, OpenAI가 GPT로 기술 산업을 폭발시킨 후 -4, Google과 Microsoft도 자체 AI 제품을 출시했습니다.
지난 5월, 미국 규제 당국은 당시 AI 산업과 관련이 있다고 판단한 주요 기업의 CEO들을 초청해 AI 기술 개발을 논의하기 위한 원탁 회의를 열었습니다.
OpenAI, Google, Microsoft가 초대되어 참여했고 심지어 스타트업 Anthropic까지 참가했지만 Meta는 나타나지 않았습니다. 당시 메타의 불참 이유에 대한 공식 반응은 "AI 업계 최고의 기업들만 초대했다"였다.
메타에게는 좋은 일이 일어나지 않았는데, 트러블이 계속 생겼다.
샤오 자(Xiao Zha)는 6월 초 의회로부터 3월 LlaMA 유출의 원인과 영향에 대해 자세히 설명해달라고 요청하는 편지를 받았습니다. 편지는 엄중하게 쓰여 있었고 요구 사항은 매우 명확했습니다
이후 몇 달 동안 Llama 2가 출시된 후에도 Meta가 이전에 많은 돈을 들여 구축했던 AI 팀은 여전히 점차적으로 무너지는.
Llama 2의 감사 인사에는 이 연구를 처음 시작한 4명의 팀원이 언급되어 있으며 그 중 3명은 사임했으며 현재 Edouard Grave만이 Meta Company에서 계속 일하고 있습니다
업계의 거인 허카이밍도 메타를 떠나 학계로 복귀합니다.
최근 더인포메이션의 속보에 따르면 메타의 AI팀은 내부 컴퓨팅 파워 경쟁으로 끊임없는 마찰을 겪고 있으며, 인력도 잇따라 떠나고 있다고 합니다.
이러한 맥락에서 Xiao Zha 자신도 Meta의 자체 대규모 언어 모델이 실제로 업계에서 가장 최첨단인 GPT-4와 경쟁할 수 없다는 것을 잘 알고 있어야 합니다.
벤치마크 테스트의 다양한 방향에서든 사용자 피드백에서든 Llama 2와 GPT-4의 격차는 여전히 매우 큽니다
다양한 벤치마크 테스트에는 오픈 소스 Llama 2와 GPT-4가 있습니다. GPT-4
GPT-4는 네티즌의 실제 경험에서 여전히 Llama 2에 대한 확실한 우위를 보여줍니다
그래서 Xiao Zha는 Meta가 오픈 소스 모델의 길에서 계속해서 맹렬하게 뛰도록 하기로 결정했습니다.
아마 Xiao Zha의 생각은 다음과 같습니다: Meta의 모델 기능은 평균적이며 폐쇄 소스 거대 기업과 경쟁할 수 없습니다. 계속해서 비밀스러운 의미를 유지하는 것은 의미가 없습니다. 따라서 단순히 소스를 오픈하고 AI 커뮤니티가 자체 모델을 기반으로 계속 반복하여 업계에서 제품의 영향력을 확장하도록 하세요
Xiao Zha는 오픈 소스 커뮤니티가 영감을 주는 역할을 했다고 여러 번 공개적으로 밝혔습니다. 기술 팀이 미래에 더욱 경쟁력 있는 제품을 개발할 수 있도록 허용
Xiao Zha는 Fridman의 팟캐스트에서 오픈 소스를 통해 Meta가 커뮤니티에서 영감을 얻을 수 있으며 Meta가 폐쇄 소스를 출시할 수도 있다고 강조했습니다. 미래의 모델.
참조: https://lexfridman.com/mark-zuckerberg-2/
그리고 사실은 Meta의 선택이 실제로 옳았다는 것을 입증했습니다.
컴퓨팅 리소스 및 기술적 강점 측면에서 Google 및 OpenAI만큼 좋지는 않지만 Meta의 Llama 2와 같은 오픈 소스 모델은 오픈 소스 커뮤니티에서 여전히 매력을 발휘합니다. Llama 2가 서서히 AI 오픈 소스 커뮤니티의 '기술 기반'이 되면서 Meta도 업계에서 고유한 생태학적 틈새 시장을 찾았습니다.
가장 분명한 징후는 9월에 개최될 의회 AI 비공개 회의에서 Xiao Zha가 마침내 규제 당국의 손님이 되어 국내 최고 기업의 CEO들과 함께 대표로 활동했다는 것입니다. 구글, 오픈AI 등 업계가 AI 산업 규제에 목소리를 낸다.
그리고 내년에 Meta가 출시하는 새 모델이 계속해서 발전하고 GPT-4와 동일한 기능을 얻을 수 있다면, 한편으로는 오픈 소스 커뮤니티가 계속해서 격차를 좁힐 수 있게 될 것입니다. “오픈소스 커뮤니티와 업계 최고 수준의 격차가 약 1년 정도 됩니다.”
한편, 샤오자 역시 인터뷰에서 향후 대형 모델의 역량이 더욱 향상된다면 메타가 자체 비공개 모델을 출시할 수도 있다고 밝혔습니다. 새로운 모델이 업계 SOTA에 더욱 접근할 수 있다면 Meta가 자체 비공개 소스 모델을 출시하는 것도 멀지 않을 것입니다.
이 AI 물결에서 Meta가 일시적으로 뒤처지는 것처럼 보이지만 Xiao Zha는 단순한 추종자에 만족하지 않습니다
Yann Lecun의 지휘 아래 Meta는 전체 산업을 전복시킬 준비도 하고 있습니다
Meta The future
그렇다면 GPT-4에 맞설 수 있는 이 전설적이고 신비로운 대형 모델 이후, Meta AI의 미래는 어떤 모습일까요?
아직 구체적인 정보가 없기 때문에 메타AI 수석과학자 르쿤의 태도에서 출발하는 등 일부 추측만 할 수 있을 뿐입니다.
인기 GPT는 늘 르쿤이 비판하고 경멸했던 인공지능 개발 루트였습니다.
올해 2월 4일, LeCun은 인간 수준의 AI로 가는 길에서 대규모 언어 모델이 잘못된 길이라는 자신의 의견을 솔직하게 표명했습니다. 최대 5년 동안 살아남지 못합니다. 왜냐하면 이러한 인공지능은 많은 양의 텍스트에 대해서만 훈련을 받았고 실제 세계를 이해할 수 없기 때문입니다.
이러한 모델은 계획도 추론도 할 수 없으며 상황을 학습할 수 있는 능력만 있습니다.
심각하게 LLM으로 훈련된 이러한 인공 지능에는 "지능"이 거의 없습니다.
르쿤이 기대하는 것은 AGI로 이어질 수 있는 '월드 모델'이다.
월드 모델은 세상이 어떻게 돌아가는지 배우고, 더 빠르게 배우고, 복잡한 작업 완료를 계획하고, 언제든지 익숙하지 않은 새로운 상황에 대응할 수 있습니다.
많은 사전 교육이 필요한 LLM과는 다릅니다. 세계 모델은 인간처럼 관찰을 통해 패턴을 찾고, 새로운 환경에 적응하고, 새로운 기술을 습득할 수 있습니다.
Meta는 LLM 분야의 지속적인 개선과 심화를 추구하는 OpenAI의 전략과 비교하여, 올해 6월 14일 '인간과 유사한' 인공지능 모델 I-JEPA를 출시했습니다. 또한 LeCun의 세계 모델 비전의 핵심 부분을 기반으로 한 역사상 최초의 AI 모델이기도 합니다.
논문을 보려면 다음 링크를 클릭하세요: https://arxiv.org/abs/2301.08243
I-JEPA는 이미지 속 추상적인 표현을 이해하고 자기 학습을 통해 상식을 습득할 수 있습니다. 지도 학습
I-JEPA는 보조 수단으로 추가적인 수동 제작 지식이 필요하지 않습니다
이후 Meta는 Meta AI가 제안한 새로운 방법인 흐름 매칭을 기반으로 하는 새롭고 혁신적인 음성 생성 시스템인 Voicebox를 출시했습니다.
6개 언어로 음성을 합성하고, 노이즈 제거, 콘텐츠 편집, 오디오 스타일 변환 등의 작업을 수행할 수 있습니다.
언어 기반 기술 조정(LSC)을 통해 로봇은 미리 매핑된 특정 환경에서 자유롭게 이동하고 항목을 집을 수 있습니다
다중 모드에서 모달 모델 개발을 통해 Meta에는 독특한 기능이 있습니다.
ImageBind는 여섯 가지 다른 모달리티의 정보를 결합할 수 있는 최초의 인공 지능 모델입니다.
기계에 대한 종합적인 이해 능력을 갖고 있으며, 사진 속 물체를 소리, 입체 형상, 온도, 움직임으로 연결해 줄 수 있습니다.
이러한 모든 시나리오에 대한 데이터는 이 분야의 이전 작업보다 훨씬 적은 규모입니다.
이번에 공개된 모델에 대해 일부 네티즌은 소스 코드를 계속 오픈할 것이라는 희망을 표명했습니다.
일부 네티즌들은 메타가 2024년 초까지 훈련을 시작하지 않을 것이라고 말했다.
그래도 다행스러운 것은 메타가 여전히 기존 전략을 고수하겠다는 신호를 내놨다는 점이다.
위 내용은 메타는 내년에 GPT-4급 대형 모델의 새로운 오픈소스 버전을 출시할 계획이다. 매개변수 개수는 라마 2의 몇 배에 달할 예정이다. 사용자들은 이를 상업적으로 무료로 사용할 수 있다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!