Google은 LLM 전투에서 패했습니다! 점점 더 많은 최고 연구자들이 OpenAI에서 이직하고 있습니다.

​몇일 전 Google은 홍보 위기에 직면할 뻔했습니다. OpenAI를 그만둔 Bert의 전직 직원인 Jacob Devlin은 Bard가 실제로 ChatGPT 데이터를 사용하여 훈련했다고 밝혔습니다.

이후 구글은 이를 즉각 부인했습니다.

그리고 이 논쟁은 또한 큰 토론으로 이어졌습니다. 왜 점점 더 많은 최고 Google 연구원들이 OpenAI로 일자리를 옮기고 있습니까? 이 LLM 전투에서 여전히 승리할 수 있나요?

친구 답글

라이스대학교 의사와 친한 친구가 구글과 OpenAI의 격차는 사실상 데이터의 격차라고 말했습니다.

"OpenAI는 LLM에 대한 강한 집착을 가지고 있는데, 이는 Google과 같은 회사와 전혀 비교할 수 없습니다. 물론 사람 사이의 격차는 단지 하나의 측면일 뿐이며, 데이터의 격차와 데이터에 대한 태도가 성공의 열쇠입니다. 사람은 아마도 돈을 들여 다시 파헤칠 수 있고, 기술이 이를 보완할 수도 있지만, Google이 단시간에 데이터 격차를 따라잡을 수는 없습니다."

https://arxiv.org /abs/2303.10158

분명히 ChatGPT의 성공에서 중요한 부분은 고품질의 주석이 달린 데이터입니다.

"폐지 더미"에서는 OpenAI가 데이터와 라벨의 품질을 매우 중요하게 생각하며 주석 작성자 선정에 매우 엄격하며(시험도 있음) 결국 설문지까지 발행한다고 소개합니다. Google이 전혀 따라올 수 없는 GPT 모델의 성공을 가져온 것은 바로 이러한 집착입니다.

그리고 수억 명의 사용자가 계속해서 OpenAI에 새로운 데이터를 제공함에 따라 Google과 OpenAI의 격차는 더욱 커질 것입니다.

데이터 중심 AI 개념은 OpenAI 성공의 기반을 마련했습니다.

자연어 처리 및 딥 러닝 주제에 대한 뛰어난 답변자 "장준린"은 OpenAI가 모든 사람을 뒤처졌다고 말했습니다.

실제로 Google을 포함해 LLM 개발 개념에 대한 이해는 분명히 OpenAI보다 한 단계 뒤처져 있습니다. 현실은 OpenAI가 너무 좋은 성과를 거두어 국내뿐만 아니라 모든 사람을 뒤처지고 있다는 것입니다. 해외에서는 OpenAI가 LLM의 개념이나 관련 기술 면에서 구글이나 딥마인드보다 약 반년에서 1년 정도 앞서고, 중국보다는 2년 정도 앞서는 것 같아요.

Zhihu 응답자 'Zhou Daodao'는 최근 Google의 전복을 OpenAI와 비교한 것이 이들 최고 연구자들에게 큰 충격을 주었음에 틀림없다고 말했습니다.

또한 OpenAI는 연구자들에게 Google보다 더 많은 리소스와 더 광범위한 요구 사항을 제공할 것이라고 합니다. 결국 OpenAI는 연구 기관에 가깝다면 Google은 AI를 제품으로 취급하는 부서에 가깝습니다.

'첸다바오' 응답자의 답변이 너무 가슴 아프네요.

미래의 비즈니스 역사는 두 가지 고전적이고 아이러니한 사례를 기록할 것입니다:

1. Kodak은 디지털 카메라를 발명했습니다

2. Google은 변압기를 발명했습니다

사진 출처: "Chen Dabao"

익명 관심 있는 사람들도 댓글 영역에 등장했습니다.

또 다른 익명의 인물이 적중했습니다.

친구는 대기업 구글의 '혁신가의 딜레마'를 지적했다.

또 관심을 갖고 있는 익명의 인물이 등장합니다.

친구 "Xingnan Zhou (Bill)"는 Google과 같은 대기업이 정책에 따라 모든 사람을 인간화할 것이라고 결론지었습니다.

그리고 Insider는 수년에 걸쳐 Google 인공 지능 팀에서 사라진 최고의 인재를 모아 긴 기사를 요약했습니다.

재능은 다 어디로 갔나요?

Google은 인공 지능 분야에 매우 중요한 연구에 기여했습니다. 그러나 회사는 혁신을 제품으로 전환하는 데 시간이 오래 걸렸습니다.

이에 따라 최고의 AI 연구자들은 OpenAI, Character.AI, DeepMind, Cohere, Inceptive 등 더 큰 가치와 영향력을 창출할 수 있는 스타트업으로 떠나고 있습니다.

Google은 이미 방어적인 위치에 있으며 언제든지 인공 지능 분야에서 선도적 위치를 잃을 것입니다. 최고 연구자들의 이탈은 문제를 더욱 악화시켰다.

Cohere의 공동 창립팀 Ivan Zhang, Aidan Gomez, Nick Frosst

Google이 방어 모드에 있을 수 있지만 반드시 그럴 필요는 없습니다. 회사는 ChatGPT와 같은 제품을 지원하는 기본 기술 자체를 많이 만들었습니다. 또한 OpenAI의 급격한 상승을 다소 아이러니하게 만드는 연구 결과를 오픈 소스로 제공합니다.

Google은 기술이 자사 비즈니스의 평판을 훼손할 수 있다는 우려 때문에 ChatGPT와 유사한 챗봇 출시를 오랫동안 주저해 왔습니다.

Google의 대규모 언어 모델 LaMDA를 개발한 두 연구원인 Daniel De Freitas와 Noam Shazeer는 ChatGPT와 유사한 챗봇 출시가 지연되어 좌절감을 느끼고 회사를 떠났습니다.

다른 전직 Google 연구원들도 이렇게 흥미로운 인공 지능 시대에 스타트업이 연구자들에게 결과에 대한 소유권을 제공하고 더 많은 가치와 영향력을 발휘할 것이라고 믿습니다.

다음은 Google을 떠나 다른 회사로 이직한 연구자들의 인공지능 분야에서 가장 주목받는 논문 중 일부입니다.

Ilya Sutskever

"신경망을 이용한 Sequence-to-Sequence 학습"은 2014년에 출판되었습니다. 이 Sequence-to-Sequence 논문은 한 도메인의 단어 시퀀스를 다른 도메인의 시퀀스로 변환하는 학습 언어 모델을 탐색합니다. 예를 들어 영어 문장을 프랑스어 문장으로 변환합니다.

Ilya Sutskever가 이 논문의 연구를 주도했습니다. 그는 연구 과학자로 약 3년 동안 근무한 뒤 2015년에 Google을 떠났습니다. Sutskever는 OpenAI의 공동 창립자이며 계속해서 수석 과학자로 일하고 있습니다.

주의만 있으면 됩니다

이 Transformer의 블록버스터 논문은 현재 70,000회 이상 인용되었습니다. Transformer는 자연어 처리의 획기적인 발전으로 간주됩니다. 문장의 각 단어를 동시에 보고 각 단어의 중요성을 평가하여 문맥상의 뉘앙스를 수집하여 AI가 의미를 이해하는 데 도움이 됩니다.

ChatGPT의 "T"는 Transformer를 의미하며 이 논문의 중요성을 보여줍니다.

그러나 Llion Jones를 제외한 이 기사의 작성자 8명은 모두 Google을 떠났습니다.

Ashish Vaswani는 5년 만에 Google Brain(Google의 딥 러닝 AI 연구 팀)을 떠나 Adept를 시작했습니다. Adept는 사람들이 더욱 지능적이 되도록 돕는 생성적 AI 도구를 구축하기 위해 최근 3억 5천만 달러를 모금한 회사입니다. 그는 최근 은밀한 스타트업을 위해 Adept를 떠났습니다.

Noam Shazeer는 현재 Character.AI의 CEO입니다.

Niki Parmar는 5년 만에 Google Brain을 떠나 Adept의 공동 창업자이자 CTO로 일했지만, Vaswani와 마찬가지로 그녀도 최근 비밀스러운 스타트업으로 떠났습니다.

Jakob Uszkoreit은 13년 동안 Google에서 신경망과 딥 러닝 분야에 종사했습니다. 그는 현재 딥러닝을 사용하여 새로운 치료법을 설계하는 스타트업인 Inceptive의 공동 창립자입니다.

Aidan Gomez는 개발자가 생성 인공 지능을 앱과 웹 사이트에 통합할 수 있도록 돕기 위해 약 1억 6천만 달러를 모금한 회사인 Cohere의 공동 창립자이자 CEO입니다. 그는 Google Brain에서 연구원으로 1년 반을 보냈습니다. 그리고 Cohere의 공동 창업자인 Nick Frosst는 Google Brain에서 연구원으로 4년을 보냈습니다.

Lukasz Kaiser는 Google Brain에서 7년 이상 근무한 후 Google Brain을 떠나 2021년 OpenAI에 합류했습니다. Kaiser는 최근 OpenAI의 GPT-4 백서에서 긴 컨텍스트 기능의 핵심 기여자로 인용되어 챗봇이 토론의 맥락을 잊어버리기 전에 더 긴 대화를 나눌 수 있도록 했습니다.

Illia Polosukhin은 Google Brain에서 3년 동안 딥 러닝과 자연어 이해 분야에 종사해 왔습니다. 그는 2017년에 회사를 떠나 Web3 스타트업 플랫폼인 Pagoda를 설립했습니다.

인간과 유사한 개방형 도메인 챗봇 구축

이 문서에서는 Google의 오리지널 챗봇 Meena를 소개하고 공개 소셜 미디어 대화에서 스크랩한 데이터를 연구하여 챗봇이 주제에 관해 대화하는 방법을 학습할 수 있는 방법을 탐구합니다. 또한 챗봇의 말하기 성능을 평가하기 위해 Google에서 만든 테스트에 대해서도 설명합니다.

이 논문은 대규모 언어 모델링의 또 다른 중요한 이정표입니다. 저자는 하드 코딩된 교육 없이 문제에 대해 인간과 같은 응답을 생성할 수 있는 대규모 언어 모델을 만들 수 있다고 믿습니다.

저자 중 한 명인 다니엘 드 프레이타스(Daniel De Freitas)는 5년간 구글 브레인(Google Brain)에서 연구원으로 근무한 후 Character.AI의 공동 창립자이자 사장을 역임했습니다.

De Freitas의 Character.AI 동료인 Romal Thoppilan도 이 기사에 기여했습니다.

왼쪽은 Romal Thoppilan, 오른쪽은 Daniel De Freitas

LaMDA: Language Model for Conversational Application

LaMDA는 Language Model for Conversational Application의 약자이며 챗봇 Bard의 기반입니다. . 2020년에 Meena라는 이름으로 처음 시연되었지만 Google은 Meena를 대중에게 공개한 적이 없습니다. Google 인공지능 연구 그룹의 전직 직원은 봇이 유해한 댓글을 남길 것을 Google이 걱정했기 때문에 이것이 홍보에 악몽이 될 것이라고 설명했습니다.

LaMDA의 몇몇 주요 연구원들이 Google Brain을 떠났습니다.

Daniel De Freitas와 Noam Shazeer가 작년에 설립한 회사인 Character.AI는 최근 머스크에서 치료사, 인생 코치에 이르기까지 다양한 페르소나로 말하는 챗봇을 만들기 위해 약 2억 달러를 모금했습니다.

Romal Thoppilan은 Google Brain에서 7년간 근무한 후 Character.AI의 창립 연구원으로 활동하고 있습니다.

알리시아 진은 2022년 말쯤 Character.AI에 연구 엔지니어로 합류할 예정입니다. 그녀는 Google Brain에서 3년 동안 근무했습니다.

BERT

BERT(BiDirectional Encoder Representations from Transformers)는 자연어 처리의 Transformer 모델을 기반으로 구축되었으며, 사전 훈련 후에는 마스크된 언어 모델링과 다음 문장 예측이라는 두 가지 작업을 잘 완료할 수 있습니다. 즉, BERT는 숨겨진 단어 또는 "마스크된" 단어를 예측하려고 시도하여 알고리즘이 주변 텍스트에 대해 더 많이 배우고 숨겨진 단어를 더 잘 예측하도록 열심히 노력합니다.

"다른 사람의 약국에서 약을 구입할 수 있나요?"라고 입력하면 "다른 사람"이 검색어의 중요한 부분이라는 것을 이해하게 됩니다.

Google은 이르면 2019년부터 검색 엔진에 BERT를 통합하기 시작했습니다. 이는 2015년 또 다른 기계 학습 알고리즘인 RankBrain이 통합된 이후 검색 정확도가 가장 크게 향상된 것 중 하나입니다.

Jacob Devlin은 이 논문의 수석 저자이며 ChatGPT 출시 직전에 OpenAI에 합류했습니다.

T5

T5 논문의 공식 명칭은 "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer"입니다. BERT를 기반으로 구축되었으며 작업에 매우 적합합니다. 번역, 요약 등.

논문을 주도한 Colin Raffel은 2021년에 떠나기 전까지 약 5년 동안 Google Brain에서 연구 과학자로 근무했습니다. 현재 UNC-Chapel Hill의 조교수로 재직 중인 그는 일주일에 하루는 Hugging Face에서 연구원으로 일하고 있습니다. Hugging Face는 최근 2022년 5월에 1억 달러를 모금했으며 회사 가치를 20억 달러로 평가했다고 발표했습니다. 사용자는 Hugging Face에서 대규모 언어 모델과 데이터 세트를 공유할 수 있습니다.

T5 논문의 또 다른 기고자인 Sharan Narang은 Google Brain에서 4년 동안 근무한 후 2022년에 Google Brain을 떠났습니다. 그는 현재 Meta Corporation에서 인공지능 연구원으로 일하고 있습니다.

신속한 칩 설계를 위한 패턴 배치 방법

Google 과학자 Azalia Mirhoseini와 Anna Goldie가 주도한 논문에서는 인공 지능이 인간 전문가보다 칩 설계 프로세스를 더 빠르게 완료할 수 있다는 사실을 발견했습니다.

듀오가 이끄는 또 다른 논문인 "심층 강화 학습을 통한 칩 레이아웃"에서는 칩 설계에 인공 지능을 사용하여 면적과 전력 사용량을 최소화하면서 성능을 최대화하는 방법을 제공합니다.

이러한 발견은 Google이 기계 학습 작업을 위해 특별히 TPU 칩을 설계하는 데 도움이 되었습니다.

Mirhoseini와 Goldie는 둘 다 2022년에 Google을 떠나 OpenAI 경쟁사인 Anthropic에 합류했습니다. Anthropic은 자체 대규모 언어 모델과 Claude라는 챗봇을 개발하고 있습니다.

DeepMind

Mustafa Suleyman은 DeepMind의 공동 창립자이자 회사의 최고 제품 책임자입니다. 2014년 구글이 인수한 인공지능 연구실이다. 이 연구실에서는 바둑에서 세계 챔피언 전문가들을 이기는 기계 학습 프로그램인 AlphaGo를 개발했습니다.

Google의 모회사인 Alphabet은 최근 4분기 재무 보고서에서 DeepMind의 재무 결과가 "기타 투자"와 분리될 것이라고 발표하여 Google의 미래 전략에서 인공 지능의 중요성을 강조했습니다. 일반적으로 "기타 투자"는 아직 수익성에 도달하지 못한 회사의 초기 프로젝트를 가리키는 일반적인 용어입니다.

Suleyman은 새로운 인공지능 제품의 안전을 보장하기 위한 열정적인 옹호자였습니다. DeepMind에서 근무하는 동안 그는 인공 지능이 실제 생활에 미치는 영향을 연구하기 위해 DeepMind Ethics and Society라는 연구 부서를 설립했습니다. 그는 2019년 직원을 괴롭힌 혐의로 DeepMind에서 휴가를 받았습니다. 조사가 진행되는 동안 그는 부사장으로 Google로 다시 옮겨졌습니다.

Suleyman은 머신러닝과 관련된 많은 연구 논문에 인용되었습니다. 2022년 2월에는 LinkedIn 창시자 Reid Hoffman과 함께 인공지능 스타트업 Inflection을 공동 창립했습니다.

Google의 가장 획기적인 인공 지능 논문에 기여한 많은 주요 기고자들이 OpenAI와 같은 경쟁업체에 합류하거나 자체 회사를 시작하기 위해 떠났습니다.

2022년 말 OpenAI의 ChatGPT가 나왔을 때, Google CEO Sundar Pichai는 내부적으로 '위험 경보'를 발표하고 회사에 대응을 요청했습니다.

당시 Pichai는 Google이 의심의 여지없이 인공 지능 분야의 최고 연구원을 계속 고용할 것이라고 말했습니다.

하지만 수많은 유능한 인재를 잃은 후에도 Google은 다시 위대함을 이룰 수 있을까요?

참고자료:

https://www.businessinsider.com/google-ai-teams-brain-drain-researchers-leave-2023-3

https://www.zhihu.com/question/592975340/ 답변 /2963265672

https://zhuanlan.zhihu.com/p/597586623

https://www.zhihu.com/question/592975340/answer/2964598555

위 내용은 Google은 LLM 전투에서 패했습니다! 점점 더 많은 최고 연구자들이 OpenAI에서 이직하고 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!