LLM은 역사가 될까요? 오픈 소스 bGPT는 딥 러닝 패러다임을 뒤집을 수 있습니다. 바이너리를 직접 시뮬레이션하여 아날로그 디지털 세계의 새로운 시대를 열 수 있습니다!

Microsoft Research Asia에서 출시한 최신 bGPT 성과인 이 바이트 기반 Transformer 모델은 디지털 세계를 탐험할 수 있는 새로운 문을 열어줍니다.

기존의 어휘 기반 언어 모델과 달리 bGPT는 특정 형식이나 작업에 제한을 받지 않고 원시 바이너리 데이터를 직접 처리할 수 있다는 점에서 독특합니다. 디지털 세계를 완전히 시뮬레이션하여 모델 개발의 새로운 가능성을 여는 것을 목표로 합니다.

종이: https://www.php.cn/link/ee88b3cea2051be97bcddf2e0d9a28f6

https://www.php .cn/link/359499f804ea7988921bf86c9377fb95 모델:

https://www.php.cn/link/4b459ea1a5917be436df5f0bd5b3c4ad프로젝트 홈페이지:

https://www.php.cn/link/71af5961 4c 8b42af334933e9261e53be 연구 논문에서 연구팀은 모델링에 대한 bGPT의 엄청난 잠재력을 보여주었습니다. bGPT는 바이트 수준 처리를 수행함으로써 텍스트, 이미지 및 오디오를 생성할 수 있을 뿐만 아니라 형식 변환 알고리즘 및 CPU 상태 모델링을 포함한 컴퓨터 동작을 시뮬레이션할 수도 있습니다. 모든 데이터를 바이트 시퀀스로 처리하는 이러한 접근 방식을 통해 bGPT는 다양한 유형의 데이터를 동일한 프레임워크에 통합할 수 있습니다.

공개된 bGPT의 논문은 X(Twitter)에서 광범위한 토론을 불러일으켰으며, 딥 러닝 모델의 잠재적인 변화를 강조하고 모델이 디지털 세계의 다양한 활동을 진정으로 이해하고 시뮬레이션할 수 있는 새로운 가능성을 열었습니다.

바이너리 데이터: 디지털 세계를 구성하는 기본 DNA

바이너리 데이터는 우리가 매일 사용하는 컴퓨터 프로세서와 전자 제품의 운영 체제를 통해 실행되며 모든 것의 핵심입니다. 데이터, 장치 및 소프트웨어. 따라서 이러한 기반을 바탕으로 이진 데이터 시퀀스를 연구하여 디지털 시스템의 내부 논리를 이해하고 이를 통해 다양하고 복잡한 디지털 현상을 재구성하고 시뮬레이션하는 것이 bGPT의 목표입니다.

bGPT는 바이트 수준 처리를 통해 기존 AI 생성 및 작업 이해에 적용될 수 있을 뿐만 아니라 더 많은 비전통적 애플리케이션도 처리할 수 있습니다. 예를 들어, 이전 연구에서는 MIDI의 바이너리 특성으로 인해 직접 모델링을 피했던 음악 전송 및 저장을 위한 표준 형식인 MIDI를 직접 시뮬레이션할 수 있습니다.

하지만 bGPT는 당연히 이러한 작업에 적합하며 음악 데이터의 변환 알고리즘을 정확하게 시뮬레이션할 수 있어 ABC 표기법을 MIDI 형식으로 변환할 때 매우 낮은 오류율(0.0011 BPB)을 달성합니다.

실제 응용 프로그램에서 bGPT는 일반적으로 ABC 기호와 MIDI 파일 간의 변환을 정확하게 완료할 수 있으며 때로는 원본 파일의 오류를 수정하여 음악 변환을 더 정확하게 만들 수도 있습니다.

bGPT는 자동으로 ABC 표기법을 MIDI 형식으로 변환합니다(위). 원래 MIDI 데이터(아래)와 비교하면 주요 차이점이 강조됩니다. 원래 MIDI 데이터는 없지만 한 비트(아래 그림 참조) )로 인해 코드 반주의 연결이 끊기는 현상이 발생하지만, bGPT로 변환된 결과(위 그림 참조)가 이 간격을 올바르게 채워 코드 반주의 부드러움을 보장합니다.

연구팀은 또한 CPU 모델링을 하드웨어 동작 시뮬레이션의 대표적인 작업으로 간주합니다. 이 작업을 수행하려면 모델이 일련의 하위 수준 기계 명령을 입력으로 받아야 하며, 목표는 CPU 상태가 어떻게 되는지 정확하게 예측하는 것입니다. 프로그램이 중지될 때까지 각 명령이 실행된 후 업데이트됩니다.

이 작업에서 bGPT는 99.99% 이상의 정확도를 보여주어 기본 바이너리 데이터 처리에서 바이트 모델의 성능과 확장성을 입증했습니다.

프로그램과 초기 CPU 상태를 고려하면 bGPT는 프로그램이 종료될 때까지 CPU 실행의 전체 프로세스를 정확하게 예측할 수 있습니다. 이 예에서 bGPT는 모든 CPU 명령을 정확하게 처리합니다. 이해를 돕기 위해 실제 바이트 시퀀스는 더 읽기 쉬운 형식으로 변환됩니다.

바이트에서 모든 것까지: 경계를 허물고 통합 데이터 모델링으로 이동

bGPT는 기본 바이너리 데이터를 처리할 수 있을 뿐만 아니라 여러 데이터 유형을 통합 모델 아키텍처로 통합하여 모든 데이터를 바이트 시퀀스로 처리할 수 있습니다.

이 접근 방식은 데이터 모델링 프로세스를 단순화할 뿐만 아니라 특정 데이터 유형에 맞게 모델을 사용자 정의할 필요 없이 모든 데이터 소스로부터의 통합을 쉽게 만듭니다.

연구팀은 논문에 전통적인 텍스트, 이미지, 오디오 파일의 예를 제시하여 통합 데이터 모델링에서 bGPT의 능력을 입증했습니다. 그들이 훈련한 bGPT 모델에는 약 1억 개의 매개변수가 있습니다.

실험 결과 GPT-2(텍스트 모델), ViT(비주얼 모델), AST(오디오 모델)와 같은 크기의 모델과 비교했을 때 bGPT는 다양한 데이터 유형에서 비슷한 성능을 보이는 것으로 나타났습니다.

bGPT는 텍스트 생성에서 매우 뛰어난 성능을 발휘합니다. 바이트 수준 텍스트 인코딩 덕분에 모델은 어휘에 의존하지 않으므로 모든 언어를 지원할 수 있습니다.

계층화된 Transformer 아키텍처는 계산 오버헤드가 GPT-2와 유사하지만 최대 8KB의 텍스트를 생성할 수 있으며 이는 GPT-2의 길이 제한을 크게 초과합니다. Wikipedia 데이터에 대한 사전 학습 후 bGPT에서 생성된 텍스트는 스타일과 테마 모두에서 GPT-2와 유사하여 텍스트 생성에 있어 강력한 능력을 입증했습니다.

bGPT는 Wikipedia 데이터 세트에서 사전 훈련되었으며 생성된 텍스트 샘플의 품질과 주제 일관성은 GPT-2와 비슷합니다.

bGPT는 이미지 바이트 시퀀스에서 다음 바이트를 예측하여 이미지를 생성할 수 있습니다. 모델은 ImageNet 데이터 세트에서 사전 훈련되었으며 생성된 이미지의 해상도는 32x32픽셀입니다.

현재 규모에서는 바이트 시퀀스를 통해 이미지의 2차원 공간 관계를 정확하게 캡처하기 어렵기 때문에 생성된 이미지에 아티팩트와 노이즈가 발생하지만 텍스처와 빛 및 그림자 효과는 일반적으로 비교적 정확합니다.

또한 생성된 이미지는 정상적으로 BMP 파일로 디코딩될 수 있습니다. 연구팀은 OpenAI가 개발한 iGPT의 픽셀 시퀀스 모델링 방식과 유사하게 bGPT의 규모를 확장하면 더 높은 품질과 더 사실적인 영상 생성이 가능할 수 있다고 지적했다.

이러한 이미지는 ImageNet 데이터 세트에서 사전 훈련된 bGPT로 생성된 이미지 세트입니다. 이미지의 질감과 조명 효과는 일반적으로 정확하지만 생성된 이미지에서 주요 개체를 식별하는 것은 어려울 수 있습니다.

bGPT는 오디오 데이터를 바이트 시퀀스로 처리하고 8000Hz의 샘플링 속도로 1초 길이의 오디오 샘플을 생성할 수 있습니다.

이 모델은 LibriSpeech 데이터 세트에서 사전 훈련되었으며 Speech Commands v2 데이터 세트에서 더욱 미세 조정 및 시연되었습니다. bGPT에서 생성된 오디오 샘플은 높은 정확도를 유지하며 일부 샘플은 실제 오디오와 거의 구별할 수 없습니다. 다음은 오디오 생성 분야에서 bGPT의 기능을 보여주는 일련의 예입니다.

bGPT를 사용하여 바이트의 디지털 세계를 탐험하세요

전통 언어 모델은 아무리 강력하더라도 주로 자연어 텍스트 처리에 중점을 둡니다. bGPT 모델은 바이트 기반 처리 메커니즘을 통해 텍스트 처리의 한계를 깨고 새로운 데이터 처리 범주를 열었습니다.

이러한 발전을 통해 bGPT는 텍스트, 이미지, 오디오는 물론 알고리즘과 하드웨어의 기본 바이너리 데이터까지 포함한 다양한 데이터 유형을 원활하게 처리할 수 있게 되어 디지털 세계에 대한 포괄적인 시뮬레이션과 이해를 위한 기반을 마련하게 되었습니다.

bGPT는 강력한 기능을 보여주었지만 현재는 기존 그래픽 카드에서 최대 8KB의 바이트 시퀀스만 처리할 수 있는 등 계산 오버헤드 측면에서 한계가 있습니다. 데이터, 적용 측면에서는 분명한 한계가 있습니다. 향후 작업 계획은 보다 효율적인 알고리즘을 개발하고 하드웨어의 발전을 활용하는 데 중점을 두고 더 큰 데이터 시퀀스를 처리하는 능력을 향상시키는 것을 목표로 합니다.

전 세계의 기술 애호가들은 네트워크 가지치기 및 자체 학습 최적화부터 초대형 네트워크의 자체 재구성 기능에 이르기까지 bGPT의 미래 잠재력을 기대하기 시작했습니다. 공통 비전: bGPT는 결국 모든 유형의 바이트 데이터를 처리하고 출력할 수 있는 통합 모델을 실현하여 진정한 디지털 세계의 포괄적인 시뮬레이터가 될 수 있습니다.

연구팀은 bGPT의 코드와 모델을 오픈 소스로 공개했습니다. 이는 모델 아키텍처를 조정하지 않고도 자신의 데이터 세트에서 bGPT를 직접 훈련할 수 있고 디지털 분야에서 바이트 모델의 광범위한 전망을 탐색할 수 있음을 의미합니다.

위 내용은 LLM은 역사가 될까요? 오픈 소스 bGPT는 딥 러닝 패러다임을 뒤집을 수 있습니다. 바이너리를 직접 시뮬레이션하여 아날로그 디지털 세계의 새로운 시대를 열 수 있습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!