구글은 엔비디아 A100보다 더 빠르고 에너지 효율성이 뛰어난 차세대 AI 슈퍼컴퓨터를 발표했다.

현지 시간 4월 5일 화요일, 알파벳의 구글은 인공지능 모델 훈련에 사용되는 슈퍼컴퓨터를 선보이며 엔비디아의 A100 칩 시스템보다 더 강력하다며 새로운 세부 사항을 공개했습니다. 더 빠르고 더 많은 에너지 효율적인.

Google은 TPU(텐서 처리 장치)라는 자체 맞춤형 칩을 설계했으며 이러한 칩을 인공 지능 훈련 작업의 90% 이상에 사용합니다. 이 프로세스는 인간의 텍스트 응답이나 이미지 생성과 같은 작업에서 유용성을 높이기 위해 모델을 통해 데이터를 훈련합니다.

현재 Google TPU는 4세대에 진입했습니다. 구글은 화요일에 4,000개 이상의 칩을 슈퍼컴퓨터에 연결하기 위해 개발한 맞춤형 광 스위치를 사용하는 방법을 자세히 설명하는 과학 논문을 발표했습니다.

Google을 주도하는 소위 대규모 언어 모델이 Bard 또는 OpenAI와 같은 단일 칩에 저장하기에는 너무 커지고 있기 때문에 AI 슈퍼컴퓨터를 구축하는 회사의 경우 이러한 연결을 개선하는 것이 경쟁의 핵심 포인트가 되었습니다. ChatGPT.

이러한 모델은 수천 개의 칩에 분산되어야 하며, 그런 다음 몇 주 이상 함께 작동하여 모델을 훈련해야 합니다. 현재까지 공개된 언어 모델 중 최대 규모인 Google의 PaLM 모델은 4,000개의 칩을 갖춘 슈퍼컴퓨터 두 대에 걸쳐 50일 동안 훈련되었습니다.

Google은 자사의 슈퍼컴퓨터가 칩 간의 연결을 쉽고 동적으로 재구성하여 오류를 방지하고 성능을 최적화할 수 있다고 말합니다.

Google 수석 연구원 Norm Jouppi와 Google 수석 엔지니어 David Patterson은 이 시스템에 대한 블로그 게시물에서 "회로 전환을 통해 고장난 구성 요소를 쉽게 우회할 수 있습니다."라고 썼습니다. "이러한 유연성 덕분에 슈퍼컴퓨터 상호 연결 네트워크의 토폴로지를 변경하여 ML(머신러닝) 모델의 성능을 가속화할 수도 있습니다."

구글은 지금까지 슈퍼컴퓨터의 세부 사항을 공개하지 않았지만, 2020년부터 슈퍼컴퓨터는 오클라호마 주 메이스 카운티의 데이터 센터에서 운영되고 있습니다. 구글은 스타트업 미드저니(Midjourney)가 이 시스템을 사용하여 모델을 훈련했다고 밝혔는데, 이 시스템은 몇 단어의 텍스트를 입력한 후 새로운 이미지를 생성할 수 있습니다.

Google은 논문에서 자사의 슈퍼컴퓨터가 동일한 크기의 시스템에 비해 Nvidia A100 칩 기반 시스템보다 1.7배 빠르고 1.9배 더 에너지 효율적이라고 밝혔습니다. A100 칩은 4세대 TPU보다 먼저 출시된 것으로 파악된다.

Google은 4세대 TPU를 Nvidia의 현재 주력 제품인 H100 칩과 비교하지 않았다고 밝혔습니다. H100은 Google이 이 칩을 적용한 후 출시되었으며 더 새로운 기술을 사용하기 때문입니다.

Google은 Nvidia H100과 경쟁할 새로운 TPU를 개발 중임을 암시했지만 세부 정보는 제공하지 않았습니다. Jouppi는 Google이 "향후 칩을 충분히 보유하고 있다"고 언론에 말했습니다.

위 내용은 구글은 엔비디아 A100보다 더 빠르고 에너지 효율성이 뛰어난 차세대 AI 슈퍼컴퓨터를 발표했다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!