빅 릴리스, '뇌형 과학' 또는 인공 지능 대형 언어 모델의 컴퓨팅 전력 소비 및 컨텍스트 길이 문제에 대한 최적의 솔루션!

SF와 과학의 거대한 사건 속에서 SF는 갑자기 현실로 빛납니다.

최근 선전 고등연구소에서는 선전공과대학 교육재단과 과학환상성장기금이 공상과학 소설과 AI의 출현을 배경으로 한 행사를 열었습니다. Luxi Technology라는 심천 팀은 Transformer를 기반으로 하지 않는 대규모 언어 모델인 NLM(Neuromorphic Generative Pre-trained Language Model)이라는 인공 지능 대규모 언어 모델을 처음으로 공개했습니다.

국내외의 많은 대형 모델과 달리 이 팀은 뇌와 같은 과학과 뇌와 같은 지능을 핵심으로 삼는 동시에 순환 신경망의 특성을 통합하고 뇌의 효율적인 컴퓨팅 특성에서 영감을 얻은 대규모 언어 모델을 개발합니다. .

더 놀라운 점은 동일한 매개변수 수준에서 이 모델의 컴퓨팅 전력 소비가 Transformer 아키텍처의 1/22라는 것입니다. 컨텍스트 길이 문제에 대해 NLM도 완벽한 답변을 제공했습니다. 컨텍스트 길이 창은 무제한을 달성할 수 있습니다. 오픈 소스 LLM의 2k 제한이든 다른 컨텍스트 길이 제한인 32k나 100k이든 성장은 문제가 되지 않습니다.

뇌 영감 컴퓨팅이란 무엇인가요?

Brain-like Computing은 인간 두뇌의 구조와 기능을 모방한 컴퓨팅 모델로, 아키텍처, 설계 원리, 정보 처리 방법 측면에서 인간 두뇌의 신경망 연결을 시뮬레이션합니다. 이러한 컴퓨팅은 단순히 생물학적 신경망의 표면 특성을 시뮬레이션하는 것을 넘어 생물학적 신경망의 기본 구성, 즉 뉴런과 시냅스의 대규모 상호 연결을 통해 서열 정보를 처리하고 저장하는 방법을 심층적으로 설명합니다. .

기존 규칙 기반 알고리즘과 달리 뇌 영감 컴퓨팅은 상호 연결된 수많은 신경망을 사용하여 인간의 뇌처럼 자율적으로 정보를 학습하고 추출합니다. 이 접근 방식을 통해 컴퓨팅 시스템은 경험을 통해 학습하고, 새로운 상황에 적응하고, 복잡한 패턴을 이해하고, 고급 결정과 예측을 내릴 수 있습니다.

높은 수준의 적응성과 병렬 처리 기능으로 인해 뇌에서 영감을 받은 컴퓨팅 시스템은 빅데이터 처리, 이미지 및 음성 인식, 자연어 처리 및 기타 분야에서 매우 높은 효율성과 정확성을 보여주었습니다. 이러한 시스템은 복잡하고 변화하는 정보를 빠르게 처리할 수 있을 뿐만 아니라 광범위한 사전 프로그래밍 및 데이터 입력이 필요하지 않기 때문에 기존 컴퓨팅 아키텍처보다 훨씬 적은 에너지와 컴퓨팅 리소스를 소비합니다.

일반적으로 두뇌모형컴퓨팅은 새로운 컴퓨팅 패러다임을 열어갑니다. 이는 전통적인 인공 신경망을 뛰어넘어 스스로 학습하고, 스스로 조직하고, 심지어 어느 정도의 자기 인식도 할 수 있는 첨단 지능 시스템으로 나아가고 있습니다.

대형 뇌모형 모델의 발전

행사에서 Lu Xi 팀의 Zhou Peng 박사는 대형 두뇌형 모델의 구현 메커니즘을 자세히 설명했습니다.

뇌형 신경망이라고도 알려진 차세대 신경망 모델로서 이전 2세대 신경망의 단점을 극복했습니다.

- 신호를 0과 1로 전송하는 1세대 신경망(MLP 다층 퍼셉트론이라고도 함)은 지나치게 복잡한 작업을 처리할 수 없으며 컴퓨팅 성능도 많이 필요하지 않습니다.

-인공 신경망이라고도 알려진 2세대 신경망은 전송 신호를 [0-1]의 연속 간격으로 변경하는데, 이는 충분히 복잡하지만 컴퓨팅 파워 오버헤드도 급증했습니다.

- 뇌형 신경망이라고도 알려진 3세대 신경망은 신호를 펄스 시퀀스로 변환합니다. 이는 충분히 복잡할 뿐만 아니라 컴퓨팅 성능 비용을 제어할 수 있게 해줍니다. 이 펄스 시퀀스는 신경 구조의 역학을 모방하여 달성됩니다. 동시에, 시퀀스는 시간을 의미하며, 3세대 신경망은 정보에 있는 시간 정보를 효과적으로 통합하여 출력할 수 있습니다.

-이전 2세대 신경망과 비교하여 시간 차원의 시퀀스 정보를 더 효과적으로 처리하고 실제 세계를 더 효과적으로 이해할 수 있습니다.

뇌와 유사한 알고리즘을 기반으로 한 대형 모델의 추론 원리도 Transformer와는 완전히 다릅니다. 추론 과정에서 Transformer 모델과 뇌 유사 모델의 작동 메커니즘에는 상당한 차이가 있습니다. Transformer 모델은 추론을 수행할 때마다 모든 상황별 정보를 고려하여 다음 토큰을 생성합니다. 이 작업은 채팅 중에 비유할 수 있으며, 단어를 말할 때마다 그날의 모든 경험을 기억해야 합니다. 이는 또한 매개변수가 계속 증가하는 동안 대규모 모델의 계산 비용이 계속 증가하는 주된 이유이기도 합니다.

상대적으로 말하면 뇌와 유사한 모델은 추론할 때 내부 상태와 토큰에만 의존하면 됩니다. 이는 말을 할 때 이전 상황을 모두 구체적으로 떠올릴 필요 없이 다음 단어가 무엇인지 불쑥 내뱉는 것과 비교할 수 있으며, 말의 내용 역시 이전 경험과 본질적으로 연관되어 있다. 이 메커니즘은 컴퓨팅 성능 오버헤드를 크게 줄여 인간의 두뇌가 작동하는 방식에 더 가깝게 만들어 성능을 크게 향상시키는 NLM 기능의 핵심입니다.

또한 뇌에서 영감을 받은 기능으로 인해 제한된 컨텍스트 길이는 더 이상 문제가 되지 않습니다. 3세대 신경망을 사용하는 NLM 대형 모델은 다음 토큰을 처리하는 데 필요한 컴퓨팅 파워가 컨텍스트 길이와 관련이 없기 때문에 컨텍스트 길이 병목 현상이 없습니다. 공개적으로 사용 가능한 Transformer 아키텍처의 대규모 언어 모델의 컨텍스트 길이는 100k에 불과합니다. 컨텍스트 길이를 늘리는 것은 컴퓨팅 성능 오버헤드의 문제일 뿐만 아니라 "할 수 있는지"의 문제이기도 합니다.

NLM의 무한 길이 컨텍스트는 복잡한 재무 보고서를 연구하든, 수십만 단어의 소설을 읽든, 무제한 길이 컨텍스트를 통해 대형 모델이 "당신을 더 잘 이해하게" 만드는 등 대형 언어 모델 응용 프로그램의 상상력을 열어줄 것입니다. "는 현실이 될 수 있다.

루시팀의 눈에 비친 AI

이 행사에서 Luxi Technology의 창립자이자 CTO인 Zhou Peng 박사는 지혜로 모든 것에 힘을 실어주는 팀의 현재 사명을 설명했습니다.

인공지능 시대에는 인터넷과 전기가 이미 우리 주변 어디에나 있는 것처럼 인공지능도 모든 곳에서 대중화되어야 합니다. 현재의 인공지능은 성능 면에서는 인상적이지만, 그 운영 비용은 기업과 소비자에게 막대한 부담을 안겨준다. 대다수의 휴대폰, 시계, 태블릿 및 노트북은 현재 기술 하에서 생성 인공 지능 대형 언어 모델을 완전하고 체계적이며 효율적이며 고품질 방식으로 실행할 수 없습니다. 이에 관심이 있는 개발자.

행사에서 Luxi Technology는 청중에게 일반 Android 휴대폰의 오프라인 모드에서 "NLM-GPT" 대형 모델을 사용하여 업무와 생활에서 흔히 발생하는 다양한 작업을 완료하는 방법을 보여주며 행사를 최고조로 끌어 올렸습니다.

- 시연에 참가하는 휴대폰에는 시중에서 판매되는 일반적인 칩 아키텍처가 탑재되어 있으며 성능은 소비자 시장에서 사용되는 일반적인 Android 모델과 유사합니다. Luxi Technology는 전화기가 비행기 모드이고 인터넷에 연결되지 않은 상태에서 사용자와 실시간으로 전화로 대화하고, 사용자가 제기한 질문에 답하고, 시 창작 등의 작업을 완료할 수 있는 'NLM-GPT' 대형 모델을 시연했습니다. 레시피 작성, 지식 검색 및 파일 해석과 같은 지침은 매우 복잡하고 휴대폰 하드웨어의 고성능 매개변수가 필요하며 전통적으로 완료하려면 네트워킹이 필요합니다.

- 전체 시연 과정에서 휴대폰의 에너지 소비는 안정적이었고 일반 대기 시간에 미치는 영향은 최소화되었으며 휴대폰의 전반적인 성능에는 아무런 영향도 미치지 않았습니다.

- 이번 시연에서는 'NLM-GPT' 대형 모델이 스마트폰, 태블릿 등 소형 C-end 상용 기기에서 고효율, 저전력 소비, 트래픽 소비 제로 등 모든 시나리오에서 실행될 가능성이 있음을 성공적으로 입증했습니다. 이는 "NLM-GPT" 대형 모델의 강화 덕분에 휴대폰, 시계, 태블릿, 노트북 및 기타 장치가 인간의 진정한 의도를 보다 정확하고 효율적으로 이해할 수 있으며 다음과 같은 다양한 상황에서 사용할 수 있음을 의미합니다. 사무실, 연구, 소셜 네트워킹, 엔터테인먼트 등. 응용 시나리오에서 인간이 제시한 다양한 지시와 작업을 더 높은 품질로 완료하여 사회 생산과 인간 생활의 효율성과 품질을 크게 향상시킵니다.

Luxi Technology는 "뇌형 기술"이 구동하는 "생성 인공지능 대언어 모델"이 학습, 일, 생활 등 다양한 분야에서 인간의 사고, 지각, 행동을 종합적으로 확장하고 모든 인류의 전반적인 질을 향상시킬 것이라고 믿습니다. . 지혜. 두뇌와 유사한 기술의 강화 덕분에 인공지능은 더 이상 인간을 대체하는 새로운 지능형 에이전트가 아니라 인간이 세상을 바꾸고 더 나은 미래를 창조할 수 있는 효율적인 지능형 도구가 될 것입니다.

고대인들이 사냥개와 매를 훈련시켰듯이, 사냥개와 매의 출현으로 사냥꾼이라는 직업이 사라지지는 않을 것입니다. 반대로 사냥꾼은 이를 통해 사냥개와 매가 가지고 있지만 인간이 갖지 못한 힘을 터득해 먹이를 더 효율적으로 얻을 수 있고, 인류 집단의 성장과 인류 문명의 발전에 힘과 영양분을 제공할 수 있다.

앞으로 일상 업무와 생활에 인공지능 대형 언어 모델을 적용하는 것은 더 이상 복잡한 다중 프로세스 시스템 프로젝트가 아니라 "체크아웃 시 결제 코드 열기", "사진 찍을 때 셔터 누르기"와 같을 것입니다. ", ""원클릭 3방향 짧은 영상" 스와이프는 일반적으로 간단하고 자연스러우며 부드럽습니다. Lu Xi의 팀은 뇌와 유사한 컴퓨팅 분야에서 계속해서 연구하고, 자연이 인류에게 준 가장 귀중한 선물인 뇌에 대한 심층적인 연구를 수행하며, 뇌와 같은 지능을 일상 생활에 도입할 것입니다.

아마도 가까운 미래에 인간은 더 많은 새로운 인공지능 파트너를 갖게 될 것입니다. 그들의 몸에는 피가 흐르지 않으며, 그들의 지능은 인간을 대체할 수 없습니다. 뇌에서 영감을 받은 기술의 지원을 통해 그들은 우리와 협력하여 우주의 신비를 탐구하고 사회의 경계를 확장하며 더 나은 미래를 창조할 것입니다.

출처: 라이프데일리

(출처: 정의되지 않음)

더 흥미로운 정보를 보려면 애플리케이션 마켓에서 "Jimu News" 클라이언트를 다운로드하세요. 뉴스 단서를 제공하는 것을 환영하며 승인되면 비용이 지급됩니다. 24시간 신고 핫라인은 027-86777777입니다.

위 내용은 빅 릴리스, '뇌형 과학' 또는 인공 지능 대형 언어 모델의 컴퓨팅 전력 소비 및 컨텍스트 길이 문제에 대한 최적의 솔루션!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!