Google PaLM 2 학습에 사용되는 텍스트 데이터의 양은 원래 세대의 거의 5배입니다.

5월 17일 뉴스 Google은 지난주 2023 I/O 개발자 컨퍼런스에서 최신 대규모 언어 모델 PaLM 2를 출시했습니다. 회사 내부 문서에 따르면 2022년부터 새로운 모델을 훈련하는 데 사용되는 텍스트 데이터의 양은 이전 세대의 거의 5배에 이릅니다.

Google이 새로 출시한 PaLM 2는 더욱 발전된 프로그래밍, 컴퓨팅 및 창의적인 글쓰기 작업을 수행할 수 있는 것으로 알려졌습니다. 내부 문서에 따르면 PaLM 2 훈련에 사용된 토큰의 수는 3조 6천억 개에 달합니다.

소위 토큰은 문자열입니다. 사람들은 모델을 훈련하는 데 사용되는 텍스트의 문장과 단락을 일반적으로 토큰이라고 합니다. 이는 대규모 언어 모델을 훈련하고 어떤 단어가 순서대로 다음에 올지 예측하도록 가르치는 중요한 부분입니다.

Google이 2022년에 출시한 이전 세대의 대규모 언어 모델 PaLM은 훈련에 7,800억 개의 토큰을 사용했습니다.

Google은 검색 엔진, 이메일, 워드 프로세싱 및 스프레드시트에 인공 지능 기술이 어떻게 포함될 수 있는지 보여주면서 인공 지능 기술 분야의 우수성을 보여주고 싶어 했지만 훈련 데이터의 크기나 기타 세부 정보를 공개하는 것을 꺼려왔습니다. Microsoft가 지원하는 OpenAI는 새로 출시된 GPT-4 대규모 언어 모델의 세부 정보도 비밀로 유지하고 있습니다.

두 회사 모두 이 정보를 공개하지 않는 이유는 인공지능 업계의 치열한 경쟁 때문이라고 밝혔습니다. Google과 OpenAI 모두 기존 검색 엔진 대신 챗봇을 사용하여 정보를 검색하려는 사용자를 유치하고자 합니다.

그러나 인공지능 분야의 경쟁이 치열해지면서 연구계에서는 더 높은 투명성을 요구하고 있습니다.

PaLM 2 출시 이후 Google은 새 모델이 이전의 대형 언어 모델보다 작다고 밝혔습니다. 이는 회사의 기술이 더 복잡한 작업을 완료하는 데 더 효율적이 될 수 있음을 의미합니다. 매개변수는 언어 모델의 복잡성을 설명하는 데 자주 사용됩니다. 내부 문서에 따르면 PaLM 2는 3,400억 개의 매개변수로 훈련되었으며, 원본 PaLM은 5,400억 개의 매개변수로 훈련되었습니다.

Google은 즉각적인 논평을 하지 않았습니다.

Google은 PaLM 2에 대한 블로그 게시물에서 새 모델은 PaLM 2를 "더 효율적이고 전반적으로 더 나은 성능(예: 더 빠른 추론, 더 적은 서비스 매개변수, 서비스 비용 절감.”

PaLM 2를 출시하면서 Google은 새 모델이 100개 언어로 학습되었으며 다양한 작업이 가능하다고 밝혔습니다. PaLM 2는 Google의 실험적인 챗봇인 Bard를 포함하여 25가지 기능과 제품에 사용됩니다. PaLM 2에는 매개변수 규모에 따라 작은 것부터 큰 것까지 Gecko, Otter, Bison 및 Unicorn의 네 가지 버전이 있습니다.

Google이 공개한 정보에 따르면 PaLM 2는 기존의 어떤 모델보다 강력합니다. 페이스북은 올해 2월 훈련에 1조 4천억 개의 토큰을 사용하는 LLaMA라는 대규모 언어 모델 출시를 발표했습니다. OpenAI는 당시 GPT-3를 출시하면서 관련 훈련 규모를 공개했는데, 당시 해당 모델이 3000억 개의 토큰을 대상으로 훈련됐다고 밝혔습니다. 올해 3월 OpenAI는 새로운 모델인 GPT-4를 출시했으며 많은 전문 테스트에서 "인간 수준"의 성능을 발휘했다고 밝혔습니다.

최신 문서에 따르면 Google이 2년 전 출시한 언어 모델은 1조 5천억 개의 토큰을 대상으로 훈련되었습니다.

새로운 생성 AI 애플리케이션이 기술 산업에서 빠르게 주류로 자리잡으면서, 기반 기술을 둘러싼 논란이 점점 더 치열해지고 있습니다.

올해 2월, 구글 연구 부서의 수석 과학자인 엘 마흐디 엘 맘디(El Mahdi El Mhamdi)는 회사의 투명성 부족으로 사임했습니다. 화요일 OpenAI CEO 샘 알트먼(Sam Altman)은 미국 상원 사법 소위원회 청문회에서 개인 정보 보호 및 기술에 대해 증언하고 인공 지능을 다루는 새로운 시스템에 동의했습니다.

"매우 새로운 기술을 위해서는 새로운 프레임워크가 필요합니다."라고 Altman은 말했습니다. "물론 우리와 같은 회사는 자신이 내놓는 도구에 대해 많은 책임을 집니다."

위 내용은 Google PaLM 2 학습에 사용되는 텍스트 데이터의 양은 원래 세대의 거의 5배입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!