Google은 DeepMind를 지원할 정도로 불안합니다! 700억 개의 매개변수 참새 하드 ChatGTP

구글의 반격이 시작됐다!

최근 Microsoft는 Google을 잇달아 공격하고 있습니다. ChatGPT가 자체 검색 엔진 Bing에 통합될 것이라고 발표한 후 ChatGPT가 Office "패밀리 버킷"에 합류할 계획이라는 블록버스터 발표를 발표했습니다.

Microsoft는 위험한 행동을 자주 하기 때문에 Google은 가만히 앉아서 기다릴 수 없습니다.

DeepMind 창립자가 "Times"와의 독점 인터뷰에서 공개한 정보에 따르면 Google은 ChatGPT의 도발에 대응하기 위해 DeepMind가 이전에 출시한 Sparrow를 사용할 가능성이 높습니다!

사실 과거 구글에는 LaMDA, Imagen 등 오랜 기간 양조해온 여러 대형 모델이 있었는데, SOTA에 도달했다고는 하지만 아직 공개된 적이 없습니다.

Google은 최근 Microsoft의 강요에 부응하여 "자녀"를 이끌고 사람들을 만날 준비가 된 것 같습니다.

ChatGPT에 대한 응답으로 Google이 답을 가지고 있습니다

과거 Google의 망설임이 오늘 나 자신에 대한 후회의 씨앗을 심었습니다.

ChatGPT는 매우 비싸서 매일 300,000달러를 소모하지만, 사람들은 2022년 12월 그날, 대규모 언어 모델 역사에 중요한 장을 단 한 획으로 쓴 것이 OpenAI의 ChatGPT였다는 것을 항상 기억할 것입니다. , 전 세계 사람들이 Google이 아닌 로봇과 채팅하기 위해 서버를 넘쳤습니다.

실제로 OpenAI가 ChatGPT를 출시하기 전에 Google에는 이미 LaMDA, Flamingo 등 대화에 최적화된 대규모 언어 모델이 있었습니다.

이르면 2020년에도 Google은 26억 개의 매개변수를 갖춘 엔드투엔드 신경망 대화 모델인 Meena를 출시했습니다. 그 효과는 당시 다른 모든 SOTA 챗봇보다 더 합리적이고 구체적이라는 평가를 받았습니다.

그러나 현재 Google은 이러한 연구 결과를 어떤 제품에도 적용하지 않았습니다.

자체 성명에 따르면 이는 주로 "평판 위험"을 고려한 때문입니다. AI 챗봇은 "독성"이 되기 매우 쉽습니다. AI 훈련을 위한 데이터는 종종 편견, 증오, 학대로 가득 찬 인터넷에서 나오므로 AI는 사실과 일치하지 않는 파괴적인 콘텐츠와 답변을 생성합니다.

12월 중순 구글 AI 수장 제프 딘은 전체회의에서 구글이 AI 제품을 만들 수 있는 기술과 능력을 갖고 있지만 '소규모 스타트업'의 의사결정보다 '더 보수적으로' 의사결정을 내려야 한다고 말했다.

그러나 이제 마이크로소프트에 의해 궁지에 몰린 구글은 더 이상 '보수적'이 아닐 수도 있습니다.

ChatGPT는 지난 두 달 동안 인터넷 전체에서 인기를 얻었으며 대중의 열광적인 참여를 불러일으켰습니다. 최근 Microsoft가 단숨에 OpenAI에 100억 달러를 추가로 투자했다는 소식이 전해졌습니다. 펜.

"ChatGPT가 검색 엔진을 대체할 수 있는가"에 대한 지속적인 논의와 Microsoft의 Office 소프트웨어가 곧 전면적인 업그레이드를 거칠 것으로 의심된다는 사실에 직면하여 Google은 이제 따라잡을 수 있다는 것을 외부 세계에 입증해야 합니다. . OpenAI, 그 이상.

얼마 전 DeepMind CEO이자 창립자인 Demis Hassabis는 "Times"와의 인터뷰에서 DeepMind의 챗봇 Sparrow가 올해 후반에 "테스트" 단계(비공개 베타)에 들어갈 수 있다고 말했습니다.

Hassabis는 Sparrow 출시를 연기하는 이유는 DeepMind가 ChatGPT가 부족한 강화 학습 기반 기능 측면에서 Sparrow를 더욱 발전시키기를 희망하기 때문이라고 말했습니다.

DeepMind는 Google 산하의 가장 중요한 AI 연구 기관으로서 Google에 첨단 신기술을 제공하고 이를 소비자 제품에 통합해 왔습니다.

Google이 큰 움직임을 보일 것 같습니다.

이전에 Meta AI의 책임자인 Yann LeCun도 Google에 대한 지지를 표명했습니다. "Google은 OpenAI를 포함한 다른 회사보다 검색을 위한 대규모 언어 모델을 사용하는 데 더 많은 경험이 있습니다.

"

딥마인드의 참새는 누구인가요?

ChatGPT와 마찬가지로 DeepMind가 2022년 9월에 제안한 Sparrow 모델도 인간 피드백을 기반으로 하는 강화 학습(RL) 프레임워크를 채택합니다.

하지만 차이점은 Sparrow가 'Google it'을 할 수 있다는 것입니다.

문서 주소: https://arxiv.org/abs/2209.14375

Sparrow는 원래 사용자와 채팅하도록 설계되었으며, 질문에 답변할 때 Google을 사용할 수 있습니다. 관련 정보 검색 뒷받침하는 증거로 사용합니다.

물론 모델의 동작이 안전한지 확인하려면 모델의 동작도 제한되어야 합니다.

따라서 연구자들은 "증오하거나 모욕적인 발언을 하지 마세요", "실제 사람인 것처럼 사칭하거나 가장하지 마세요" 등과 같은 모델에 대한 초기 간단한 규칙 세트를 식별했습니다.

나중에 잡담을 통해 Sparrow가 이러한 규칙을 어기도록 속이세요. 관련된 대화는 Sparrow의 행동이 어떤 규칙을 위반하는지 보여주기 위해 별도의 "규칙 모델"을 훈련하는 데 사용될 수 있습니다.

결과에 따르면 사용자가 자동차를 핫와이어하는 방법을 묻는 등 잠재적으로 위험한 행동이 감지되면 Sparrow 모델은 불법적인 행위를 하지 않도록 훈련되었다고 말합니다.

참여자에 따르면, Sparrow는 사실적인 질문을 하면 기본적으로 신뢰할 수 있는 답변을 제공했으며, 기준선 대비 78%의 데이터가 증거로 뒷받침되는 모델이 크게 발전했다고 합니다.

Google을 위기에서 벗어나게 도와주세요. DeepMind가 할 수 있을까요?

ChatGPT와 비교하면 Sparrow는 자격이 없습니다

최근 인공 지능 연구의 초점은 일반적으로 더 나은 성능을 얻기 위해 더 많은 매개 변수를 사용하는 것입니다. 그러나 DeepMind는 Chinchilla 언어 모델의 크기를 크게 줄였습니다.

Sparrow의 기본인 Chinchilla의 매개변수 수는 GPT-3의 일부에 불과합니다(700억 대 1750억).

동시에 DeepMind는 Chinchilla에 대한 훈련 데이터 양을 여러 배로 1조 3천억 토큰으로 늘렸습니다.

그 결과, 이 인공 지능 모델의 "미니 버전"은 물론 오래된 라이벌 GPT-3을 포함하여 거의 모든 음성 작업에서 이전 버전보다 더 나은 성능을 발휘합니다.

많은 양의 데이터로 훈련된 작은 인공지능 모델도 높은 성능을 발휘할 수 있다는 것은 친칠라의 성공에서 어렵지 않게 볼 수 있습니다.

또한 소형 모델의 가장 큰 장점은 실행 비용이 저렴할 뿐만 아니라 추가 데이터가 거의 없이 특정 사용 사례에 맞게 최적화할 수 있다는 것입니다.

이렇게 하면 사용자가 너무 만족하기 때문에 회사가 모든 돈을 낭비하는 것을 방지할 수 있습니다.

글쎄, 저는 OpenAI에 대해 이야기하고 있습니다.

그러나 현재 인기 있는 ChatGPT는 더욱 발전된 GPT-3.5를 기반으로 합니다.

이전에 GPT-3.5의 최신 버전인 text-davinci-003이 출시되었을 때 OpenAI는 다음과 같은 장점을 나열했습니다.

1. 더 높은 세대의 품질: 더 명확하고 매력적이며 설득력 있는 콘텐츠를 제공합니다.

2. 더 복잡한 지침을 처리할 수 있습니다. 해당 기능을 더 창의적으로 사용할 수 있습니다.

3. 더 긴 콘텐츠 생성이 가능합니다. 이전에는 달성하기 어려웠던 작업을 완료할 수 있습니다.

이제 질문은 다음과 같습니다. Chinchilla를 GPT-3.5에 사용할 수 있습니까?

"정말 향기롭다"

오늘날의 위치에 이르기까지 단계별로 지난 몇 년간 Google의 활동 레이아웃을 되돌아보면 경영진은 아마도 엇갈린 감정을 느꼈을 것입니다.

ChatGPT가 처음 인기를 끌었던 12월 초, 구글에는 위기를 느낀 '내부고발자'들이 있었습니다. 일부 직원은 전체 회의에서 우려를 제기했다. ChatGPT의 급격한 상승으로 인해 Google이 AI 분야에서 경쟁 우위를 잃을 수도 있다.

전 Google 광고 팀장인 Sridhar Ramaswamy도 ChatGPT가 계속 인기를 끌면 네티즌들은 더 이상 광고가 포함된 Google 링크를 클릭하지 않을 것이라고 말했습니다.

아시다시피 2021년에 광고 사업은 Google에서 2,080억 달러를 벌어들였는데, 이는 Alphabet 전체 수익의 81%를 차지했습니다.

당시 구글 경영진은 ChatGPT의 탄생이 어떤 위기를 초래할지 깨닫지 못했습니다.

당시 Google 경영진은 다음과 같이 말했습니다. Google은 OpenAI와 같은 스타트업보다 "평판 위험"이 더 크기 때문에 ChatGPT에 대한 경쟁자를 출시하지 않을 것입니다. 더욱이 "챗봇은 아직 검색 엔진을 대체할 준비가 되어 있지 않습니다."

그런데 불과 열흘 뒤 경영진의 태도가 급격하게 바뀌었습니다.

Pichai는 일부 팀에 방향을 바꾸고 AI 제품을 개발하도록 지시했습니다.

CEO Pichai는 긴급하게 "레드 코드"를 발표하고 Google의 AI 전략과 관련된 여러 회의에 참여했으며 다음 사항을 가르치는 데 집중했습니다. Google의 다중 팀은 ChatGPT가 회사의 검색 엔진 비즈니스에 미치는 위협을 해결하는 데 집중해야 합니다.

Google의 연구, 신뢰 및 안전 및 기타 부서의 팀은 방향을 전환하고 대신 AI 프로토타입 및 제품의 개발 및 출시를 지원하기 시작했습니다.

사실 구글의 우려는 이해가 됩니다.

로봇은 거짓말을 퍼뜨리고, 증오심 표현을 퍼뜨리고, 심지어 사람들에게 자신이 "의식적"이라는 환상을 줄 수도 있습니다. 돈을 태워서 그러한 로봇에 대한 시험장을 제공하려는 OpenAI의 시도는 실제로 매우 대담합니다.

지금까지 OpenAI의 테스트 반응은 상당히 좋았고, 누군가는 길을 찾았고, 구글도 곧 시장에 진출할 것으로 보입니다.

"혁신가의 딜레마"에 빠졌습니다

Decoder 기자 Matthias Bastian은 "평판 위험"에 대한 우려 외에도 Google이 "혁신가의 딜레마"에 갇혀 있을 수 있다는 것이 더 합리적인 이유라고 믿습니다.

이 용어는 미국 학자 Clayton Christensen이 1997년에 제안한 것으로, 성숙한 기업이 전통 시장을 파괴하는 새로운 기술이나 비즈니스 모델을 채택하기 어려운 상황을 설명합니다.

이러한 성숙한 기업은 가장 중요한 자원을 보유하고 있으며 충분한 과학적 연구 역량을 보유하고 있는 경우가 많습니다. 그러나 기존 고객 기반과 고정된 내부 프로세스로 인해 획기적인 혁신을 방해할 수 있습니다.

더 작고 더 민첩한 경쟁업체가 시장에 진입하여 시장을 장악하면(예, OpenAI입니다) 결국 기존 대기업의 몰락으로 이어질 수 있습니다.

Google 수익의 대부분은 온라인 광고에서 발생합니다

이제 Google의 핵심 검색 엔진 사업은 성장하고 수익성이 높아지고 있습니다(위의 2,080억 달러 기억).

모든 검색결과 페이지가 Google에 돈을 인쇄하고 있다고 말할 수 있습니다.

새로운 검색 챗봇은 새로운 수익 창출 전략을 의미합니다. Google을 검색 엔진처럼 수익성 있게 만들 수 있을까요?

물론 Google은 ChatGPT만큼 성공적인 챗봇을 출시할 수 있지만, 검색 엔진보다 수익성이 낮다면 Google은 손실을 입을 것입니다.

디지털 마케팅 전문가인 Tim Peter는 트위터에서 Microsoft의 장점은 다른 수익원을 통해 Bing의 ChatGPT 비용을 보조할 수 있다는 점이라고 지적했습니다. 그리고 ChatGPT 뒤에는 재무 소유자인 아빠 Microsoft가 있습니다. Microsoft는 풍부한 수입원을 보유하고 있으므로 ChatGPT를 계속 지원하여 이와 같이 계속 태울 수 있습니다.

하지만 Google은 거의 모든 수익이 광고에서 발생합니다. 따라서 광고 수익이 없다면 Google 검색 엔진의 가치는 크게 줄어들 것입니다.

2012년부터 2022년까지 Microsoft의 부서별 회계 연도 매출

게다가 검색 엔진이 수익성이 높은 이유는 사용자가 계속해서 링크를 클릭하기 때문입니다. 막대한 광고 비용.

그러나 사용자가 목록에서 검색할 필요 없이 챗봇을 통해 직접 답변을 얻을 수 있다면 검색엔진의 유료 비즈니스 생태계는 직접 파괴될 것입니다.

Google은 수천억 달러 가치가 있는 이 케이크를 감히 파괴할 위험을 감수합니까?

이제 Google은 자회사인 DeepMind를 통해 상용 챗봇을 출시하고 Google 검색에 대한 상대(또한 OpenAI의 상대)를 만드는 등 원활한 전환 방법을 사용합니다. .

이러한 방식으로 Google은 주주들을 달래고 외부인들이 챗봇이 검색 엔진을 대체할지 의심스러울 때 대응할 수 있습니다.

이렇게 보면 2023년에 출시될 Sparrow 베타 버전은 엄청난 미션을 가지고 있습니다.

위 내용은 Google은 DeepMind를 지원할 정도로 불안합니다! 700억 개의 매개변수 참새 하드 ChatGTP의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!