상하이 디지털 뇌 연구소(Shanghai Digital Brain Research Institute)는 매우 복잡한 문제에 대해 신속한 의사 결정을 내릴 수 있는 중국 최초의 대규모 다중 모드 의사 결정 모델인 DB1을 출시했습니다.

최근 상하이 디지털 뇌 연구소(이하 '디지털 뇌 연구소')는 최초의 대규모 디지털 뇌 다중 모드 의사결정 모델(DB1)을 출시하여 이 분야의 국내 격차를 메우고 더 나아가 사전 훈련된 모델의 사용을 텍스트, 그래픽 텍스트, 강화 학습 의사 결정 및 운영 최적화 의사 결정에 적용할 수 있는 가능성을 확인합니다. 현재 우리는 Github(프로젝트 링크: https://github.com/Shanghai-Digital-Brain-Laboratory/BDM-DB1)에서 DB1 코드를 오픈 소스화했습니다.

이전에 수리과학연구소에서는 MADT(https://arxiv.org/abs/2112.02845)/MAT(https://arxiv.org/abs/2205.14953)와 같은 다중 에이전트 모델을 제안했습니다. 대규모 오프라인 모델 Transformer 모델은 시퀀스 모델링을 통해 일부 단일/다중 에이전트 작업에서 놀라운 결과를 얻었으며 이 방향에 대한 연구와 탐구가 계속되고 있습니다.

지난 몇 년 동안 대규모 사전 훈련된 모델이 등장하면서 학계와 업계에서는 사전 훈련된 모델의 매개변수 수와 다중 모드 작업에 있어 계속해서 새로운 발전을 이루었습니다. 훈련된 모델은 방대한 데이터에 대해 훈련되었습니다. 지식과 지식의 심층 모델링은 일반 인공지능으로 가는 중요한 경로 중 하나로 간주됩니다. 의사결정 지능 연구에 중점을 두고 있는 디지털연구소는 사전 훈련된 모델의 성공을 의사결정 업무에 혁신적으로 복사하려고 노력하여 획기적인 성과를 거두었습니다.

다중 모드 의사 결정 대형 모델 DB1

이전에 DeepMind는 단일 에이전트 의사 결정 작업, 다단계 대화 및 그림 텍스트 생성 작업을 Transformer 기반 자동 회귀 문제로 통합하고 수행한 Gato를 출시했습니다. 604 다양한 작업에서 좋은 성능을 달성했으며, 몇 가지 간단한 강화학습 의사결정 문제가 시퀀스 예측을 통해 해결될 수 있음을 보여주었으며, 이는 수학 연구소의 대규모 의사결정 모델의 연구 방향의 정확성을 검증합니다.

이번 수학연구소에서 출시한 DB1은 주로 Gato를 재현 및 검증하고, 네트워크 구조와 매개변수 양, 태스크 유형 및 태스크 수 측면에서 개선을 시도합니다:

• 파라미터 수량 및 네트워크 구조 : DB1 매개변수 수량은 12억 1천만 개에 달합니다. 매개변수 측면에서 가능한 한 Gato에 가까워지도록 노력하십시오. 일반적으로 Institute of Numerical Research에서는 Gato와 유사한 구조(동일한 디코더 블록 수, 히든 레이어 크기 등)를 사용하지만 FeedForwardNetwork에서는 GeGLU 활성화 함수가 매개변수 수의 1/3을 추가로 도입하므로 , 수리과학연구소에서는 매개변수 양이 Gato에 가깝고, 4 * n_embed 차원의 히든 레이어 상태가 GeGLU 활성화 함수를 통해 2 * n_embed 차원 특징으로 변환되기를 원합니다. 그렇지 않으면 Gato 구현과 함께 입력 및 출력 인코딩 측면의 임베딩 매개변수를 공유합니다. Gato와 달리 레이어 정규화 선택에 PostNorm 솔루션을 채택하고 Attention에서는 혼합 정밀도 계산을 사용하여 수치 안정성을 향상시킵니다.
  ​
• 작업 유형 및 작업 수: DB1의 실험 작업 수는 870개에 달합니다. 이는 전문가 성능이 50% 이상인 경우 Gato보다 44.04% 더 높고 Gato보다 2.23% 더 높습니다. 특정 작업 유형 측면에서 DB1은 대부분 Gato의 의사 결정, 이미지 및 텍스트 작업을 상속하며 다양한 작업 수는 기본적으로 동일하게 유지됩니다. 그러나 의사결정 작업 측면에서 DB1은 200개 이상의 실제 시나리오 작업, 즉 100 및 200노드 규모의 TSP(여행 판매원 문제)를 도입했습니다. 이 유형의 작업은 100~200개의 지리적 위치를 무작위로 선택합니다. 중국의 모든 주요 도시에 있는 노드) 솔루션입니다.

DB1의 전반적인 성능이 Gato와 동등한 수준에 이르렀음을 알 수 있으며, 실제 비즈니스의 요구에 더 가깝고 NP-hard TSP 문제를 해결할 수 있는 도메인 본체로 진화하기 시작했습니다. 아주 좋습니다. 가토 이전에는 이 방향을 탐색하지 않았습니다.

DB1(오른쪽)과 GATO(왼쪽) 지표 비교

강화 학습 시뮬레이션 환경에서 DB1의 다중 작업 성능 분포

기존 의사 결정 알고리즘과 비교하여 DB1은 교차 작업 의사 결정 기능과 빠른 마이그레이션 기능에서 우수한 성능을 제공합니다. 교차 작업 의사 결정 기능 및 매개 변수 수량 측면에서 단일 복잡한 작업에 대한 수천만 개의 매개 변수에서 여러 복잡한 작업에 대한 수십억 개의 매개 변수로 도약을 달성했으며 계속 성장하고 있으며 문제를 해결할 수 있는 능력을 갖추고 있습니다. 복잡한 비즈니스 환경에서 문제를 해결할 수 있는 적절한 능력. 마이그레이션 기능 측면에서 DB1은 지능형 예측에서 지능형 의사결정으로, 단일 에이전트에서 다중 에이전트로의 도약을 완료하여 작업 간 마이그레이션에서 기존 방법의 단점을 보완하여 대규모 모델 구축을 가능하게 했습니다. 기업 내에서.

DB1도 개발 과정에서 많은 어려움을 겪었다는 사실은 부인할 수 없습니다. 디지털 연구소는 대규모 모델 훈련 및 다중 작업 훈련 데이터 저장 분야에서 업계에 표준 솔루션을 제공하기 위해 많은 시도를 해왔습니다. . 모델 매개변수가 10억 매개변수에 도달하고 작업 규모가 거대하며 100T(300B+ 토큰) 이상의 전문가 데이터에 대해 교육해야 하기 때문에 일반적인 심층 강화 학습 교육 프레임워크는 더 이상 빠른 교육 요구 사항을 충족할 수 없습니다. 이 상황. 이를 위해, 수학 연구소는 분산 학습을 위해 단일 머신 멀티 카드 또는 멀티 머신 멀티 카드 환경에서 강화 학습, 운영 최적화 및 대규모 모델 트레이닝의 컴퓨팅 구조를 충분히 고려합니다. , 하드웨어 리소스를 최대한 활용하고 모듈을 교묘하게 설계하여 두 모델 간의 통신 메커니즘을 통해 모델의 학습 효율성을 극대화하고 870개 작업의 학습 시간을 1주일로 단축합니다. 반면, 분산 무작위 샘플링의 경우 훈련 과정에 필요한 데이터 인덱싱, 저장, 로드 및 전처리도 이에 상응하는 병목 현상이 되었습니다. 수학 연구소에서는 문제를 해결하기 위해 데이터 세트를 로드할 때 지연 로드 모드를 채택했습니다. 메모리 제한을 줄이고 사용 가능한 메모리를 최대한 활용합니다. 또한, 로드된 데이터를 전처리한 후 하드디스크에 캐싱해 나중에 전처리된 데이터를 바로 로드할 수 있도록 함으로써 반복적인 전처리에 따른 시간과 리소스 비용을 절감할 수 있다.

현재 OpenAI, Google, Meta, Huawei, Baidu, DAMO Academy 등 국내외 유수의 기업과 연구 기관에서 다중 모드 대형 모델에 대한 연구를 수행하고 모델 적용 또는 제공을 포함한 특정 상용화 시도를 하고 있습니다. 귀하의 제품에 API 및 관련 산업 솔루션이 포함되어 있습니다. 이에 비해 수리과학연구소는 의사결정 이슈에 좀 더 중점을 두고 게임 AI 의사결정 과제, 운영연구 최적화 TSP 해결 과제, 로봇 의사결정 제어 과제, 블랙박스 최적화 해결 과제, 멀티-인공지능 의사결정 과제 등에 적용 시도를 지원한다. 라운드 대화 작업.

작업 수행

운영 최적화: TSP 문제 해결

중국 일부 도시의 TSP 문제를 노드로

강화 학습 작업 시연 영상

DB1 모델이 진행 중입니다. 완료 870개의 다양한 의사결정 과제를 오프라인 학습한 후 평가 결과, 76.67%의 과제가 전문가 수준 50% 이상에 도달한 것으로 나타났습니다. 다음은 일부 작업의 효과를 보여줍니다.

• 비디오 게임 장면: DB1은 2D/3D 이미지 입력을 수신할 수 있으며 Atari 및 Procgen과 같은 2D 픽셀 게임을 잘 완성하는 동시에 유사한 3D 이미지 입력 ​​작업인 DMLab에도 적합합니다. , DB1도 좋은 성능을 보여주었습니다.

Atari Breakout

DMLab 개체 위치 탐색

Procgen DogBall

• 연속 제어 장면: 로봇 공학 분야의 연속 제어 작업의 경우 DB1은 연속 작업의 정책 출력을 모델링하고 시뮬레이션 작업을 잘 완료할 수도 있습니다.

Metaworld PlateSlide

ModularRL Cheetah

文本 - 图image任务

• 文本生成：给出一段文字提示，生成长文本描述
• 输入提示：digital Brain Laboratory는 상하이에 본사를 두고 있습니다
• 生成结果：digital Brain Laboratory는 상하이에 본사를 두고 있으며 중국 상하이에서 우리 팀에 합류할 고도로 숙련되고 경험이 풍부한 사람을 찾고 있습니다.
  we 는 디지털 두뇌 연구실이며 중국 상하이에서 우리 팀에 합류할 고도로 숙련되고 경험이 풍부한 사람을 찾고 있습니다.
  이것은 빠른 성장 단계를 겪고 있으며 잘 알려져 있고 성장하는 회사에서 일할 수 있는 기회입니다. 시장에 영향을 미칠 수 있습니다.
  정규직입니다.
  경쟁이 치열한 환경에서 5~10명의 팀을 이끌 수 있는 고도로 숙련되고 의욕이 넘치며 경험이 풍부한 소프트웨어 엔지니어를 찾고 있습니다. 환경
• 图image描述生成：给定一张图文字生成对应文本描述

当前决策大模型的局限性与未来方向

虽然当前多模态决策预训练模型DB1 取得了一定效果，但仍存在一定局限性，诸如：跨域任务采样权重敏感、跨域知识迁移困难、长序列建模困难、专家数据强依赖等。虽然存는众多挑战，但现阶段看来,多模态决策大模型是实现决策智能体从游戏走向更广泛场景, 从虚拟走向现实, 现实开放动态环境中进行自主感觉与决策，最终实现更加communication人工智能的关键探索方向之一。未来，数研院将持续迭代数字大脑决策大模型，同过更大参数weight，更有效的序列表征，接入和支持更多任务，结합离线 / 线训练与微调，实现跨域、跨模态、跨任务 的 知识泛化与迁移，最终在现实应用场景下提供更가요、更高效、更低成本 决策智能决策解决方案。

위 내용은 상하이 디지털 뇌 연구소(Shanghai Digital Brain Research Institute)는 매우 복잡한 문제에 대해 신속한 의사 결정을 내릴 수 있는 중국 최초의 대규모 다중 모드 의사 결정 모델인 DB1을 출시했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!