새로운 AI 알고리즘 공개: 전력은 기존 구성의 1/50로, 메모리 사용량은 1/10로 감소

6월 27일 본 사이트의 소식에 따르면, 캘리포니아대학교 산타크루즈 캠퍼스 연구팀이 단 13W의 전력만으로 10억 매개변수 규모의 대규모 언어를 실행할 수 있는 새로운 방법을 개발했다고 합니다. 현대 LED 전구의) 모델입니다. 이에 비해 대규모 언어 모델 작업을 위한 데이터 센터급 GPU에는 약 700W가 필요합니다.

AI 물결 아래서 많은 기업과 기관의 주요 연구 방향은 적용과 추론이며, 효율성과 같은 지표는 거의 고려되지 않습니다. 이러한 상황을 완화하기 위해 연구원은 행렬 곱셈이라는 집약적인 기술을 제거하고 음의 1, 0, 양의 1의 세 가지 값만 갖는 "ternion" 솔루션을 제안했습니다.

또한 팀은 FPGA(Field-Programmable Gate Array)라는 고도로 맞춤화된 회로를 사용하여 맞춤형 하드웨어를 만들어 신경망의 모든 에너지 절약 기능을 극대화했습니다.

커스텀 하드웨어에서 실행하면 Meta의 Llama와 같은 상위 모델과 동일한 성능을 얻을 수 있지만 기존 구성에 비해 신경망 성능이 50분의 1로 줄어듭니다.

이 신경망 설계는 인공 지능 산업에서 일반적으로 사용되는 표준 GPU에서도 실행될 수 있습니다. 테스트 결과에 따르면 행렬 곱셈을 기반으로 하는 신경망과 비교하면 메모리 사용량이 1/10에 불과합니다.

이 사이트에 참조 주소가 첨부되어 있습니다

연구원들이 전구에 전원을 공급하는 데 필요한 에너지에 대해 고성능 대형 언어 모델을 실행합니다.

확장 가능한 MatMul-free 언어 모델링

위 내용은 새로운 AI 알고리즘 공개: 전력은 기존 구성의 1/50로, 메모리 사용량은 1/10로 감소의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!