Yan Shuicheng의 지도 아래 Kunlun Wanwei 2050 글로벌 연구소는 NUS 및 NTU와 공동으로 Vitron을 출시하여 일반적인 시각적 다중 모드 대형 모델의 궁극적인 형태를 확립했습니다.

최근 Yan Shuicheng 교수가 이끄는 Kunlun Technology 2050 글로벌 연구소, 싱가포르 국립 대학교, 싱가포르 난양 기술 대학교 팀이 공동으로 을 출시하고 Vitron 범용 픽셀 수준 비주얼을 오픈 소스로 제공했습니다. 다중 모드 대형 언어 모델 .

시각적 이해부터 시각적 생성까지, 낮은 수준에서 높은 수준까지 일련의 시각적 작업을 지원하고, 대형 화면을 괴롭히는 이미지 문제를 해결하는 견고한 범용 시각적 멀티모달 대형 모델입니다. /비디오 모델 분할 문제는 정적 이미지와 동적 비디오의 이해, 생성, 분할, 편집 및 기타 작업을 포괄적으로 통합하는 픽셀 수준의 일반 시각적 다중 모드 대형 모델을 제공합니다. 차세대 일반 시각적 대형 모델의 기반을 마련하는 콘텐츠입니다. 궁극적인 형태는 대형 모델의 일반 인공 지능(AGI)을 향한 또 다른 큰 발걸음을 내딛습니다.

Vitron은 통합된 픽셀 수준의 시각적 다중 모달 대형 언어 모델로서 낮은 수준에서 높은 수준까지 시각적 작업을 포괄적으로 지원하며

, 복잡한 시각적 작업을 처리할 수 있으며 및 이미지와 비디오 콘텐츠를 이해하고 생성하여 강력한 시각적 이해와 작업 실행 기능을 제공합니다. 동시에 Vitron은 사용자와의 지속적인 작업을 지원하여 유연한 인간-컴퓨터 상호 작용을 가능하게 하며 보다 통합된 시각적 다중 모드 범용 모델을 향한 큰 잠재력을 보여줍니다.

Vitron 관련 논문, 코드 및 데모

가 모두 공개되었습니다. 이는 포괄성, 기술 혁신, 인간-컴퓨터 상호 작용 및 응용 가능성 측면에서 독특한 장점과 잠재력을 보여주었습니다. 다중 모드 대형 모델의 개발을 촉진할 뿐만 아니라 미래 시각적 대형 모델 연구에 새로운 방향을 제시합니다.

Kunlun Wanwei

2050글로벌 연구소는 미래 세계를 위한 뛰어난 과학 연구 기관을 구축하고 과학계와 협력하여 "특이점 을 건너기 위해 노력해 왔습니다. ”, 미지의 세계를 탐험해보세요, 더 나은 미래를 만들어보세요. 이전 Kunlun Wanwei 2050글로벌 연구소는 디지털 에이전트 연구 개발 툴킷AgentStudio을 출시하고 오픈 소스화했습니다. 앞으로도 연구소는 인공 지능기술을 계속 홍보할 것입니다. 획기적인을 통해 중국의 인공지능 생태 건설에 기여합니다. 현재 시각적 대형 언어 모델(LLM) 개발은 만족스러운 진전을 이루었습니다. 커뮤니티는 점점 더 일반적이고 강력한 다중 모드 대형 모델(MLLM)을 구축하는 것이 일반 인공 지능(AGI)을 달성할 수 있는 유일한 방법이 될 것이라고 믿고 있습니다. 그러나 다중 모드 일반 모델(Generalist)로 전환하는 과정에는 여전히 몇 가지 주요 과제가 있습니다. 예를 들어, 작업의 상당 부분이 세밀한 픽셀 수준의 시각적 이해를 달성하지 못하거나 이미지 및 비디오에 대한 통일된 지원이 부족합니다. 혹은 다양한 시각적 작업에 대한 지원이 부족하여 보편적인 대형 모델과는 거리가 멀습니다. 이 격차를 메우기 위해 최근 Kunlun Worldwide 2050 글로벌 연구소, 싱가포르 국립 대학교 및 싱가포르 난양 기술 대학교 팀이 공동으로 오픈 소스 Vitron 범용 픽셀 수준 시각적 다중 모드 대형 언어 모델을 출시했습니다. . Vitron은 정적 이미지와 동적 비디오 콘텐츠에 대한 포괄적인 이해, 생성, 분할 및 편집을 포함하여 낮은 수준에서 높은 수준까지 시각적 이해부터 시각적 생성까지 일련의 시각적 작업을 지원합니다.

비트론은 비전과 관련된 4가지 주요 업무에 대한 기능적 지원을 종합적으로 설명했습니다. 그리고 그 주요 장점. Vitron은 또한 유연한 인간-기계 상호 작용을 달성하기 위해 사용자와의 지속적인 작업을 지원합니다. 이 프로젝트는 차세대 일반 비전 대형 모델의 궁극적인 형태를 위한 기반을 마련하면서 보다 통합된 비전 다중 모드 일반 모델에 대한 큰 잠재력을 보여줍니다.

Vitron 관련 논문, 코드, 데모가 모두 공개되었습니다.

논문 제목: Vitron: 이해, 생성, 분할, 편집을 위한 통합 픽셀 수준 비전 LLM

프로젝트 홈페이지 및 데모: https://vitron-llm.github.io/

논문 링크: https:/ / is.gd/aGu0VV

• 오픈 소스 코드: https://github.com/SkyworkAI/Vitron
• 0

1

궁극의 통합 다중 모드 대형 언어 모델

최근 몇 년 동안 LLM(대형 언어 모델)은 전례 없는 강력한 기능을 선보였으며 AGI에 대한 기술적 경로로 점차 검증되었습니다. 다중 모드 대형 언어 모델(Multimodal Large Language Models, MLLM)은 많은 커뮤니티에서 빠르게 발전하고 있으며 시각적 인식을 수행할 수 있는 모듈을 도입하여 순수 언어 기반 LLM을 MLLM으로 확장하여 이미지 이해 기능이 뛰어나게 개발되었습니다. . BLIP-2, LLaVA, MiniGPT-4 등과 같은 동시에 VideoChat, Video-LLaMA, Video-LLaVA 등과 같이 비디오 이해에 중점을 둔 MLLM도 출시되었습니다.

이후 연구자들은 MLLM의 기능을 2차원에서 더욱 확장하려고 주로 노력했습니다. 한편, 연구자들은 대략적인 인스턴스 수준 이해에서 이미지에 대한 픽셀 수준의 세밀한 이해로 전환하여 MLLM의 비전에 대한 이해를 심화시켜 GLaMM, PixelLM과 같은 시각적 영역 포지셔닝(Regional Grounding) 기능을 달성하려고 노력하고 있습니다. , NExT-Chat 및 MiniGPT-v2 등 반면, 연구자들은 MLLM이 지원할 수 있는 시각적 기능을 확장하려고 노력하고 있습니다. 일부 연구에서는 MLLM이 어떻게 입력 시각적 신호를 이해할 뿐만 아니라 출력 시각적 콘텐츠 생성을 지원하는지 연구하기 시작했습니다. 예를 들어 GILL 및 Emu와 같은 MLLM은 이미지 콘텐츠를 유연하게 생성할 수 있으며 GPT4Video 및 NExT-GPT는 비디오 생성을 실현합니다.

현재 인공 지능 커뮤니티는 시각적 MLLM의 미래 추세가 필연적으로 고도로 통합되고 강력한 기능을 제공하는 방향으로 발전할 것이라는 데 점차 합의에 도달했습니다. 그러나 커뮤니티에서 개발한 수많은 MLLM에도 불구하고 여전히 명확한 격차가 존재합니다.

• 우선, 거의 모든 기존 시각적 LLM은 이미지와 비디오를 서로 다른 개체로 취급하며 이미지만 지원하거나 비디오만 지원합니다. 연구자들은 비전이 정적 이미지와 동적 비디오를 모두 포괄해야 한다고 주장합니다. 둘 다 시각적 세계의 핵심 구성 요소이며 대부분의 시나리오에서 상호 교환 가능합니다. 따라서 이미지와 비디오 형식을 모두 지원할 수 있는 통합 MLLM 프레임워크를 구축해야 합니다.
• 둘째, 현재 MLLM의 시각적 기능 지원은 아직 부족합니다. 대부분의 모델은 이미지나 비디오를 이해하거나 생성하는 것만 가능합니다. 연구자들은 미래의 MLLM이 광범위한 시각적 작업과 작업을 포괄하고 모든 비전 관련 작업에 대한 통합 지원을 달성하며 "모두를 위한 단일" 기능을 달성할 수 있는 일반적인 대규모 언어 모델이어야 한다고 믿습니다. 이는 실용적인 응용 프로그램, 특히 일련의 반복 및 대화형 작업이 포함되는 시각적 생성에 매우 중요합니다. 예를 들어, 사용자는 일반적으로 텍스트로 시작하여 빈센트 다이어그램을 통해 아이디어를 시각적 콘텐츠로 변환한 다음, 더욱 세밀한 이미지 편집을 통해 더 많은 세부 정보를 추가한 다음, 이미지에서 비디오를 생성하여 여러 가지 작업을 수행합니다. 비디오 편집과 같은 일련의 반복적인 상호 작용을 통해 창작물을 완성합니다.

위 표는 기존 Visual MLLM의 성능을 간단히 요약한 것입니다(대표적으로 일부 모델만 포함되어 있으며, 적용 범위가 불완전합니다). 이러한 격차를 해소하기 위해 팀은 일반적인 픽셀 수준 시각적 MLLM인 Vitron을 제안합니다.

02. Vitron 시스템 아키텍처 : 세 가지 핵심 모듈

Vitron의 전체 프레임워크는 아래 그림에 나와 있습니다. Vitron은 1) 프런트 엔드 시각적 및 언어 인코딩 모듈, 2) 중앙 LLM 이해 및 텍스트 생성 모듈, 3) 시각적 제어를 위한 백엔드 사용자 응답 및 모듈 호출의 세 가지 핵심 부분을 포함하여 기존 관련 MLLM과 유사한 아키텍처를 채택합니다. 기준 치수.

• 프런트 엔드 모듈: 시각 언어 코딩. 이미지 및 비디오 모달 신호를 인식하고 세분화된 사용자 시각적 입력을 지원하기 위해 Vitron은 이미지 인코더, 비디오 인코더 및 영역 상자/스케치 인코더를 통합합니다.
• 센터 모듈: 핵심 LLM. Vitron은 이해, 추론, 의사 결정 및 여러 라운드의 사용자 상호 작용을 위해 Vicuna(7B, 1.5)를 사용합니다.
• 백엔드 모듈: 사용자 응답 및 모듈 호출. Vitron은 텍스트 중심 호출 전략을 채택하고 낮은 수준에서 높은 수준까지 일련의 시각적 터미널 작업을 디코딩하고 실행하기 위한 여러 기성 강력하고 고급(SoTA) 이미지 및 비디오 처리 모듈을 통합합니다. Vitron은 텍스트 중심의 모듈 통합 호출 방식을 채택하여 시스템 통합을 달성할 뿐만 아니라 정렬 효율성과 시스템 확장성을 보장합니다.

03. Vitron모델 학습의 세 가지 주요 단계

위의 아키텍처를 기반으로 Vitron은 강력한 시각적 이해 및 작업 실행 기능을 제공하도록 학습되고 미세 조정됩니다. 모델 훈련에는 주로 세 가지 단계가 포함됩니다.

• 1단계: 시각 언어 전체 정렬 학습. 입력된 시각적 언어 특징은 통합된 특징 공간에 매핑되어 입력된 다중 모드 신호를 효과적으로 이해할 수 있습니다. 이는 시스템이 들어오는 시각적 신호를 전체적으로 효과적으로 처리할 수 있도록 하는 대략적인 시각적-언어적 정렬 학습입니다. 연구원들은 교육을 위해 기존 이미지-캡션 쌍(CC3M), 비디오-캡션 쌍(Webvid) 및 지역 캡션 쌍(RefCOCO) 데이터 세트를 사용했습니다.
• 2단계: 시공간적 시각적 위치 지정 지침을 세밀하게 미세 조정합니다. 시스템은 외부 모듈을 사용하여 다양한 픽셀 수준의 시각적 작업을 수행하지만 LLM 자체는 세밀한 시각적 교육을 받지 않았으므로 시스템이 진정한 픽셀 수준의 시각적 이해를 달성하는 데 방해가 됩니다. 이를 위해 연구자들은 LLM이 이미지의 세밀한 공간성과 비디오의 특정 시간적 특성을 찾을 수 있도록 하는 세밀한 시공간 시각적 위치 지정 명령 미세 조정 훈련을 제안했습니다. 3단계: 출력 끝은 명령 호출에 맞게 미세 조정됩니다. 위에 설명된 훈련의 두 번째 단계는 LLM 및 프런트 엔드 인코더에 픽셀 수준에서 비전을 이해하는 기능을 제공합니다. 이 마지막 단계인 명령 호출을 위한 명령 미세 조정의 목표는 시스템에 명령을 정확하게 실행할 수 있는 기능을 갖추어 LLM이 적절하고 올바른 호출 텍스트를 생성할 수 있도록 하는 것입니다. 다양한 터미널 비전 작업에는 다양한 호출 명령이 필요할 수 있으므로 이를 통합하기 위해 연구원은 LLM의 응답 출력을 다음을 포함하는 구조화된 텍스트 형식으로 표준화할 것을 제안했습니다.

1) 사용자 응답 출력, 사용자의 명령에 직접 응답 입력 .

2) 수행할 기능이나 작업을 나타내는 모듈 이름입니다.

3) 작업 모듈의 메타 명령을 트리거하는 명령을 호출합니다.

4) 백엔드 모듈에 이 정보가 필요한 비디오 추적 또는 시각적 편집과 같은 특정 작업에 필요한 세분화된 시각적 기능을 지정하는 영역(선택적 출력)입니다. 영역의 경우 LLM의 픽셀 수준 이해를 기반으로 좌표로 설명되는 경계 상자가 출력됩니다.

04. 평가 실험

연구원들은 Vitron을 기반으로 22개의 공통 벤치마크 데이터 세트와 12개의 이미지/비디오 비전 작업에 대해 광범위한 실험 평가를 수행했습니다. Vitron은 4가지 주요 시각적 작업 그룹(분할, 이해, 콘텐츠 생성 및 편집)에서 강력한 기능을 보여주는 동시에 유연한 인간-컴퓨터 상호 작용 기능을 갖추고 있습니다. 다음은 대표적인 정성적 비교 결과입니다.

• Vision Segmentation

이미지 참조 이미지 분할 결과

• Fine-grained Vision Understanding

이미지 참조 표현 이해 결과 .

영상 QA 결과 편집 결과

자세한 실험 내용과 내용은 논문으로 이동해주세요.
• 0

5

.

미래 방향 전망
• 전반적으로 이 작업은 통합된 시각적 다중 모드 일반 대형 모델 개발의 큰 잠재력을 보여주며 차세대 시각적 연구의 기반을 마련합니다. 대형 모델은 새로운 형태를 취하고 이 방향으로 첫발을 내디뎠습니다. 연구팀이 제안한 비트론 시스템은 강력한 일반 성능을 보여주지만 여전히 한계를 안고 있다. 다음 연구자들은 앞으로 더 탐구될 수 있는 몇 가지 방향을 나열합니다.
• 시스템 아키텍처

Vitron 시스템은 여전히 ​​외부 도구를 호출하기 위해 반합동, 반에이전트 접근 방식을 사용합니다. 이 호출 기반 방법은 잠재적 모듈의 확장 및 교체를 용이하게 하지만 이 파이프라인 구조의 백엔드 모듈은 프런트엔드 및 LLM 핵심 모듈의 공동 학습에 참여하지 않는다는 의미이기도 합니다. 이러한 제한은 시스템의 전반적인 학습에 도움이 되지 않습니다. 즉, 다양한 비전 작업의 성능 상한이 백엔드 모듈에 의해 제한된다는 의미입니다. 향후 작업은 다양한 비전 작업 모듈을 단일 단위로 통합해야 합니다. 단일 생성 패러다임을 통해 생성 및 편집 기능을 지원하면서 이미지와 비디오의 통일된 이해와 출력을 달성하는 것은 여전히 ​​어려운 과제입니다. 현재 유망한 접근 방식은 모듈식 영구 토큰화를 결합하여 다양한 입력 및 출력 및 다양한 작업에 대한 시스템 통합을 개선하는 것입니다.

• 사용자 상호 작용

단일 비전 작업(예: Stable Diffusion 및 SEEM)에 중점을 둔 이전 모델과 달리 Vitron은 업계 DALL-E 시리즈의 OpenAI와 유사하게 LLM과 사용자 간의 깊은 상호 작용을 촉진하는 것을 목표로 합니다. , 미드저니 등 최적의 사용자 상호 작용을 달성하는 것이 이 작업의 핵심 목표 중 하나입니다. Vitron은 적절한 교육 조정과 결합된 기존 언어 기반 LLM을 활용하여 특정 수준의 상호 작용을 달성합니다. 예를 들어, 시스템은 사용자가 입력할 것으로 예상되는 모든 메시지에 유연하게 응답하고 사용자 입력이 백엔드 모듈 조건과 정확히 일치하도록 요구하지 않고도 해당 시각적 작업 결과를 생성할 수 있습니다. 그러나 이 작업은 상호작용성을 향상시키는 측면에서 여전히 개선의 여지가 많이 남아 있습니다. 예를 들어, 비공개 소스 Midjourney 시스템에서 영감을 얻어 LLM이 각 단계에서 어떤 결정을 내리더라도 시스템은 사용자에게 적극적으로 피드백을 제공하여 해당 작업과 결정이 사용자 의도와 일치하는지 확인해야 합니다.

모달 기능


현재 Vitron은 7B Vicuna 모델을 통합하고 있는데, 이는 언어, 이미지 및 비디오를 이해하는 능력에 특정 제한이 있을 수 있습니다. 향후 탐색 방향은 비전에 대한 보다 철저하고 포괄적인 이해를 달성하기 위해 모델의 규모를 확장하는 등 포괄적인 End-to-End 시스템을 개발하는 것일 수 있습니다. 또한 LLM이 이미지와 비디오 양식에 대한 이해를 완전히 통일할 수 있도록 노력해야 합니다.

위 내용은 Yan Shuicheng의 지도 아래 Kunlun Wanwei 2050 글로벌 연구소는 NUS 및 NTU와 공동으로 Vitron을 출시하여 일반적인 시각적 다중 모드 대형 모델의 궁극적인 형태를 확립했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!