5,000억 개의 매개변수가 노출된 마이크로소프트가 자체 개발한 극비 무기 OpenAI에 도전해보세요! 전 Google DeepMind 임원이 팀을 이끌고 있습니다.

OpenAI가 없으면 Microsoft도 AI 분야의 리더가 될 수 있습니다!

외신은 마이크로소프트가 자체적으로 5천억 개의 매개변수를 갖춘 최초의 대규모 모델인 MAl-1을 개발하고 있다는 소식을 전했습니다.

이제 나델라가 팀을 이끌고 자신을 증명할 때가 왔습니다.

Microsoft는 OpenAI에 100억 달러 이상을 투자한 후 GPT-3.5/GPT-4 고급 모델 사용 권한을 얻었지만 결국 장기적인 솔루션은 아닙니다.

심지어 마이크로소프트가 OpenAI의 IT 부서로 축소됐다는 소문도 돌았죠.

모두가 알고 있듯이 지난 1년 동안 Microsoft의 LLM 연구는 주로 Phi-3의 오픈 소스와 같은 소규모 phi 업데이트에 중점을 두었습니다.

튜링 시리즈를 제외하고 대형 모델 특화에 대해서는 마이크로소프트가 내부 소식을 공개하지 않았습니다.

오늘 Microsoft CTO Kevin Scott은 MAI 대형 모델이 실제로 개발 중임을 확인했습니다.

분명히 대형 모델을 준비하려는 Microsoft의 비밀 계획은 OpenAI, Google 및 Anthropic의 상위 모델과 경쟁할 수 있는 새로운 LLM을 개발하는 것입니다.

결국 Nadella는 "OpenAI가 내일 사라져도 상관없다"고 말한 적이 있습니다.

"우리에게는 재능과 컴퓨팅 능력, 데이터가 있습니다. 우리에게는 부족한 것이 없습니다. 우리는 그들 아래, 그들 위에, 그들 주위에 있습니다."

마이크로소프트의 자신감 그 자체인 것 같습니다.

자체 개발한 5천억 개의 MAI-1 대형 모델

보도에 따르면 MAI-1 대형 모델은 전 구글 딥마인드 대표인 무스타파 술레이만(Mustafa Suleyman)이 감수한 것으로 알려졌다.

Suleyman은 Microsoft에 합류하기 전에 AI 스타트업 Inflection AI의 창립자이자 CEO였다는 점을 언급할 가치가 있습니다.

는 2022년에 설립되었습니다. 그는 1년 만에 팀을 이끌고 대형 모델 Inflection(현재 버전 2.5로 업데이트됨)과 일일 사용자 수가 백만 명이 넘는 높은 EQ AI 보조 Pi를 출시했습니다.

그러나 적합한 비즈니스 모델을 찾지 못했기 때문에 Suleyman, Another Lianchuang 및 대부분의 직원이 3월에 Microsoft에 합류했습니다.

즉, Suleyman과 팀은 이 새로운 프로젝트 MAI-1을 담당하고 있으며 이에 더욱 최첨단 대형 모델 경험을 제공할 것입니다.

MAI-1 모델은 Microsoft가 자체 개발했으며 Inflection 모델에서 상속되지 않았다는 점을 언급해야 합니다.

두 명의 Microsoft 직원에 따르면 "MAI-1은 이전에 Inflection에서 출시한 모델과 다릅니다."라고 합니다. 그러나 훈련 프로세스에서는 훈련 데이터와 기술을 사용할 수 있습니다.

5천억 개의 매개변수를 갖춘 MAI-1의 매개변수 규모는 과거에 Microsoft가 교육한 소규모 오픈 소스 모델을 훨씬 능가합니다.

이것은 또한 더 많은 컴퓨팅 성능과 데이터가 필요하고 훈련 비용도 높다는 것을 의미합니다.

이 새로운 모델을 교육하기 위해 Microsoft는 NVIDIA GPU가 장착된 대규모 서버를 예약하고 모델을 최적화하기 위해 교육 데이터를 컴파일해 왔습니다.

GPT-4에서 생성된 텍스트는 물론 외부 소스(인터넷 공개 데이터)의 다양한 데이터세트도 포함됩니다.

큰 모델과 작은 모델을 모두 원합니다

이에 비해 GPT-4는 1조 8천억 개의 매개변수를 가지고 있는 것으로 노출됐고, Meta, Mistral 등 AI 기업들은 700억 개의 매개변수를 가진 더 작은 오픈소스 모델을 출시했습니다.

물론 Microsoft는 다각적인 전략을 채택합니다. 즉, 크고 작은 모델을 함께 개발합니다.

그 중 가장 클래식한 것은 Phi-3입니다. 휴대폰에 삽입할 수 있는 소형 모델로, 최소 크기 3.8B로 성능 면에서 GPT-3.5를 압도합니다.

Phi-3 mini는 4비트로 양자화했을 때 약 1.8GB의 메모리만 차지하며, iPhone14에서는 초당 12개의 토큰을 생성할 수 있습니다.

네티즌들이 "더 낮은 비용으로 AI를 훈련시키는 것이 더 좋지 않을까?"라는 질문을 제기한 후 Kevin Scott은 다음과 같이 대답했습니다.

이것은 둘 중 하나의 관계가 아닙니다. 많은 AI 애플리케이션에서 우리는 대규모 최첨단 모델과 더 작고 보다 표적화된 모델을 조합하여 사용합니다. 우리는 SLM이 장치와 클라우드 모두에서 잘 작동하도록 많은 작업을 수행했습니다. 우리는 SLM 교육에 대한 많은 경험을 축적했으며 다른 사람들이 연구하고 사용할 수 있도록 이 작업 중 일부를 오픈 소스로 공개했습니다. 이런 크고 작은 조합은 앞으로도 계속될 것 같아요.

이는 Microsoft가 애플리케이션에 통합하고 모바일 장치에서 실행할 수 있는 저비용 SLM을 개발할 뿐만 아니라 더 크고 더 발전된 AI 모델도 개발해야 함을 보여줍니다.

현재 Microsoft는 스스로를 "Copilot Company"라고 부릅니다. AI로 구동되는 코파일럿 챗봇은 이메일 작성, 문서 요약 등의 작업을 완료할 수 있습니다.

그리고 앞으로 다음 기회는 어디에 있을까요?

크고 작은 모델을 모두 고려하면 혁신적인 에너지로 가득 찬 Microsoft가 AI에서 새로운 길을 개척하려는 의지가 더 강하다는 것을 반영합니다.

OpenAI의 "IT"가 되고 싶지 않으신가요?

다시 말하지만, 자체 개발한 MAI-1이 Microsoft가 OpenAI를 포기한다는 의미는 아닙니다.

오늘 아침 게시물에서 Kevin Scott 최고 기술 책임자(CTO)는 먼저 Microsoft와 OpenAI 간의 5년 간의 견고한 "우정"을 확인했습니다.

우리는 최첨단 AI 모델을 훈련시키기 위해 파트너 OpenAI를 위한 대규모 슈퍼컴퓨터를 구축해 왔습니다. 그러면 두 회사 모두 이 모델을 자사의 제품과 서비스에 적용하여 더 많은 사람들에게 혜택을 줄 것입니다.

또한 각각의 새로운 세대의 슈퍼컴퓨터는 이전 세대보다 더 강력할 것이므로 OpenAI로 훈련된 각 최첨단 모델은 이전 모델보다 더 발전할 것입니다.

우리는 OpenAI가 전체 업계를 선도하는 모델을 교육할 수 있도록 더욱 강력한 슈퍼컴퓨터를 지속적으로 구축하면서 이 길을 계속 이어갈 것입니다. 우리의 협력은 점점 더 큰 영향을 미칠 것입니다.

얼마 전 외신에서는 마이크로소프트(Microsoft)와 오픈AI(OpenAI)가 힘을 합쳐 AI 슈퍼컴퓨터 '스타게이트(Stargate)'를 구축하고, 최대 1150억 달러(약 115조 원)를 지출할 것이라고 밝혔습니다.

슈퍼컴퓨팅은 이르면 2028년에 출시되고 2030년 이전에는 더욱 확장될 것이라고 합니다.

이전을 포함하여 Microsoft 엔지니어는 기업가 Kyle Corbitt에게 Microsoft가 GPT-6을 교육하기 위해 OpenAI용 H100 100,000개를 집중적으로 구축하고 있다는 소식을 전했습니다.

Microsoft와 OpenAI의 협력이 더욱 강화될 것이라는 다양한 조짐이 있습니다.

또한 Scott은 "OpenAI와의 협력 외에도 Microsoft는 수년 동안 MSR 및 다양한 제품 팀에 AI 모델 개발을 맡겨 왔습니다."라고 말했습니다.

AI 모델은 Microsoft의 거의 모든 제품, 서비스 및 운영에 침투했습니다. 또한 팀은 모델을 처음부터 훈련하거나 기존 모델을 미세 조정하는 등 사용자 지정 작업을 수행해야 하는 경우도 있습니다.

앞으로는 비슷한 상황이 더 많을 겁니다.

이러한 모델 중 일부는 Turing, MAI 등의 이름이 있고 일부는 Phi라는 이름이 있으며, 우리는 이를 오픈 소스로 만들었습니다.

제 표정이 그렇게 드라마틱하진 않아도 현실이에요. 우리 괴짜들에게 이것은 실제로 얼마나 복잡한지를 고려하면 매우 흥미로운 현실입니다.

"Turing" 모델 복호화

MAI, Phi 시리즈 모델 외에도 코드명 "Turing"은 마이크로소프트가 2017년 내부적으로 시작한 계획으로 대형 모델을 만들어 전 모델에 적용하겠다는 목표다. 제품 라인 중간.

3년간의 연구 개발 끝에 2020년에 처음으로 170억 매개변수 T-NLG 모델을 출시하여 당시 역사상 최대 매개변수 규모 LLM 기록을 세웠습니다.

2021년 Microsoft는 NVIDIA와 협력하여 5,300억 매개변수의 MT-NLP(Megatron-Turing)를 출시했습니다. 이는 광범위한 자연어 작업에서 "비할 데 없는" 정확성을 입증했습니다.

같은 해에 시각 언어 모델 Turing Bletchley가 처음 출시되었습니다.

지난해 8월 이 멀티모달 모델이 V3 버전까지 반복됐고, 빙 등 관련 제품에 통합돼 더 나은 이미지 검색 경험을 제공하고 있다.

또한 Microsoft는 2021년과 2022년에 "Turing Universal Language Representation Model"(T-ULRv5 및 T-ULRv6 버전)도 출시했습니다.

현재 Xbox의 단어 및 질문 일치의 SmartFind에는 "Turing" 모델이 사용되었습니다.

팀에서 개발한 이미지 초해상도 모델 T-ISR(Turing Image Super-Resolution)도 있는데, 이는 Bing Maps에 적용되어 전 세계 사용자를 위한 항공 이미지 품질을 향상시킬 수 있습니다.

현재 신형 MAI-1 모델의 구체적인 적용 분야는 아직 결정되지 않았으며 성능에 따라 달라질 예정입니다.

그런데 MAI-1에 대한 더 많은 정보는 5월 21일부터 23일까지 열리는 Microsoft Build 개발자 컨퍼런스에서 처음으로 공개될 수도 있습니다.

다음 단계는 MAI-1의 출시를 기다리는 것입니다.

위 내용은 5,000억 개의 매개변수가 노출된 마이크로소프트가 자체 개발한 극비 무기 OpenAI에 도전해보세요! 전 Google DeepMind 임원이 팀을 이끌고 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!