그래픽 언어: Kuaishou 및 Beida 다중 모드 대형 모델은 DALLE-3과 유사합니다.

GPT, LLaMA 등과 같은 현재의 대규모 언어 모델은 자연어 처리 분야에서 상당한 발전을 이루었으며 복잡한 텍스트 콘텐츠를 이해하고 생성할 수 있습니다. 하지만 이 강력한 이해와 생성 능력을 다중 모드 데이터로 확장할 수 있을까요? 이 아이디어는 점차 현실이 되어가고 있다. 최신 다중 모드 대형 모델 LaVIT는 Kuaishou와 Peking University에서 개발되었습니다. 이미지와 비디오 데이터를 결합함으로써 모델이 대용량 멀티미디어 콘텐츠를 쉽게 이해할 수 있도록 하고 일러스트레이션 콘텐츠 제작을 지원합니다. 라빛(LaVIT)의 등장은 멀티미디어 콘텐츠의 이해와 창작에 있어서 큰 의미를 갖는다. 이미지와 영상 속 사물, 장면, 감정을 식별할 뿐만 아니라, 이와 관련된 자연어 설명도 생성합니다. 이러한 방식으로 우리는 멀티모달 데이터를 더 잘 활용하고 더욱 생생하고 흥미로운 그래픽 콘텐츠를 만들 수 있습니다. LaVIT의 개발은 다중 모드 분야에서 대규모 언어 모델을 구현하려는 중요한 시도입니다. 이는 멀티미디어 콘텐츠의 처리 및 생성에 더 많은 가능성을 가져오고 자연어 처리 및 컴퓨터 비전 분야의 추가 개발을 촉진할 것으로 예상됩니다.

• 논문 제목: 동적 이산 시각적 토큰화를 사용한 LLM의 통합 언어 비전 사전 훈련
• 논문 주소: https://arxiv.org/abs/2309.04669
• 코드 모델 주소: https://github.com/jy0205/LaVIT

모델 개요

LaVIT는 언어 모델과 같은 시각적 콘텐츠를 이해하고 생성할 수 있는 새로운 일반 멀티모달 기본 모델입니다. 다음 이미지 또는 텍스트 토큰을 예측하기 위해 자동 회귀 접근 방식을 사용하여 대규모 언어 모델에 유사한 교육 접근 방식을 사용합니다. 일단 훈련되면 LaVIT는 추가 미세 조정 없이 다중 모드 이해 및 생성 작업을 수행할 수 있는 일반적인 다중 모드 인터페이스 역할을 할 수 있습니다. 예를 들어 LaVIT는 다음 기능을 수행할 수 있습니다.

LaVIT는 주어진 텍스트 프롬프트를 기반으로 고품질, 다양한 종횡비 및 미적인 이미지를 생성할 수 있는 강력한 텍스트-이미지 생성 모델입니다. Parti, SDXL, DALLE-3 등 최첨단 이미지 생성 모델과 비교했을 때 LaVIT는 동등한 이미지 생성 기능을 갖추고 있습니다. 이를 독특하게 만드는 것은 높은 품질과 미학을 유지하면서 다양한 이미지를 생성하는 능력입니다. 세로 방향이든 가로 방향이든 LaVIT는 만족스러운 이미지 구도를 만들어낼 수 있습니다. LaVIT는 첨단 기술과 고품질 교육 데이터를 결합하여 사용자에게 뛰어난 텍스트-그래프

LaVIT에서는 이미지와 텍스트가 이산화된 토큰으로 표현됩니다. 따라서 텍스트, 이미지+텍스트, 이미지+이미지의 조합을 포함하여 이미지 생성을 위한 다중 모드 단서를 활용할 수 있습니다. 이 다중 모드 생성에는 미세 조정이 필요하지 않으며 시스템은 프롬프트에 따라 해당 이미지를 생성할 수 있습니다.

LaVIT는 이미지를 읽고 의미를 이해할 수 있는 이미지 이해 모델입니다. 입력 이미지에 대한 관련 설명을 생성하고 관련 질문에 답할 수 있습니다.

방법 개요

LaVIT의 모델 구조는 아래 그림에 나와 있습니다. 전체 최적화 프로세스는 두 단계로 구성됩니다.

그림: LaVIT 모델의 전체 아키텍처

1단계: 동적 시각적 토크나이저

자연어와 같은 시각적 콘텐츠를 이해하고 생성할 수 있도록 LaVIT에서는 시각적 콘텐츠(연속적인 신호)를 텍스트와 같은 형태로 변환하기 위해 잘 설계된 시각적 토크나이저를 도입합니다. LLM이 이해할 수 있는 외국어와 마찬가지로 동일한 토큰 시퀀스입니다. 저자는 통일된 시각적 및 언어 모델링을 달성하기 위해서는 시각적 토크나이저(Tokenizer)가 다음 두 가지 특성을 가져야 한다고 믿습니다.

1. Discretization: 시각적 토큰은 텍스트와 같이 이산화된 형태로 표현되어야 합니다. 이는 두 가지 양식에 대한 통합 표현 형식을 사용하며, 이는 통합된 자동 회귀 생성 훈련 프레임워크에서 다중 모드 모델링 최적화를 위해 동일한 분류 손실을 사용하는 LaVIT에 도움이 됩니다.
2. Dynamicification: 텍스트 토큰과 달리 이미지 패치는 그들 사이에 상당한 상호 의존성을 가지므로 한 패치를 다른 패치에서 추론하는 것이 상대적으로 간단합니다. 따라서 이러한 의존성은 원래 LLM의 다음 토큰 예측 최적화 목표의 효율성을 감소시킵니다. LaVIT는 다양한 이미지의 다양한 의미적 복잡성을 기반으로 동적 수의 시각적 토큰을 인코딩하는 토큰 병합을 사용하여 시각적 패치 간의 중복성을 줄이는 것을 제안합니다. 이러한 방식으로 복잡성이 다른 이미지의 경우 동적 토큰 인코딩을 사용하면 사전 학습의 효율성이 더욱 향상되고 중복 토큰 계산이 방지됩니다.

다음 그림은 LaVIT에서 제안하는 시각적 토크나이저의 구조입니다.

그림: (a) 동적 시각적 토큰 생성기 (b) 토큰 병합

동적 시각적 토크나이저에는 토큰이 포함되어 있습니다. 선택기와 토큰 결합기. 그림에서 볼 수 있듯이 토큰 선택기는 가장 유익한 이미지 블록을 선택하는 데 사용되는 반면, 토큰 병합기는 유익하지 않은 시각적 블록의 정보를 보유 토큰으로 압축하여 중복 토큰을 병합하는 데 사용됩니다. 전체 동적 시각적 단어 분할기는 입력 이미지의 의미 재구성을 최대화하여 학습됩니다.

토큰 선택기

토큰 선택기는 N개의 이미지 블록 수준 기능을 입력으로 받으며, 그 목표는 각 이미지 블록의 중요성을 평가하고 정보량이 가장 많은 블록을 선택하는 것입니다. 전체 이미지의 의미를 완벽하게 표현합니다. 이 목표를 달성하기 위해 여러 MLP 레이어로 구성된 경량 모듈을 사용하여 분포 π를 예측합니다. 분포 π에서 샘플링하여 해당 이미지 패치를 유지할지 여부를 나타내는 이진 결정 마스크가 생성됩니다.

토큰 결합기

토큰 결합기는 N개의 이미지 블록을 두 그룹으로 나눕니다. 생성된 결정 마스크에 따라 X_r을 유지하고 X_d를 폐기합니다. X_d를 직접 버리는 것과 달리 토큰 결합기는 입력 이미지의 세부 의미를 최대한 보존할 수 있습니다. 토큰 결합기는 L 개의 블록으로 구성되며 각 블록에는 Causal Self-Attention 레이어, Cross-Attention 레이어 및 Feed-forward 레이어가 포함됩니다. Causal self-attention 레이어에서 X_r의 각 토큰은 LLM의 텍스트 토큰 형식과의 일관성을 보장하기 위해 이전 토큰에만 주의를 기울입니다. 이 전략은 양방향 self-attention에 비해 성능이 더 좋습니다. 교차 주의 계층은 보유된 토큰 X_r을 쿼리로 사용하고 의미론적 유사성을 기반으로 X_d의 토큰을 병합합니다.

2단계: 통합 생성 사전 훈련

시각적 토크나이저에서 처리된 시각적 토큰은 텍스트 토큰과 연결되어 훈련용 입력으로 다중 모달 시퀀스를 형성합니다. 두 가지 양식을 구별하기 위해 저자는 이미지 토큰 시퀀스의 시작과 끝 부분에 특수 토큰인 [IMG] 및 [/IMG]를 삽입합니다. 이는 시각적 콘텐츠의 시작과 끝을 나타내는 데 사용됩니다. LaVIT는 텍스트와 이미지를 생성하기 위해 [이미지, 텍스트] 및 [텍스트;

이러한 다중 모드 입력 시퀀스의 경우 LaVIT는 통합된 자동 회귀 접근 방식을 사용하여 사전 훈련을 위한 각 다중 모드 시퀀스의 가능성을 직접 최대화합니다. 표현 공간과 교육 방법의 완전한 통합은 LLM이 다중 모드 상호 작용 및 정렬을 더 잘 학습하는 데 도움이 됩니다. Pre-training이 완료되면 LaVIT는 이미지를 인식하는 능력을 갖게 되며 텍스트와 같은 이미지를 이해하고 생성할 수 있습니다.

Experiments

제로샷 멀티모달 이해

LaVIT는 이미지 자막 생성(NoCaps, Flickr30k) 및 시각적 질문 답변(VQAv2, OKVQA, GQA)에서 제로샷 멀티모달 이해도를 갖추고 있습니다. , VizWiz) 업무에서 선도적인 성과를 달성했습니다.

표 1 제로샷 멀티모달 이해 작업 평가

제로샷 멀티모달 생성

이 실험에서 제안한 시각적 토크나이저는 이미지를 이산화된 토큰으로 표현할 수 있으므로 LaVIT는 자동회귀를 통해 텍스트와 같은 시각적 토큰을 생성하여 이미지를 합성할 수 있는 능력을 갖습니다. 저자는 제로샘플 텍스트 조건에서 모델의 이미지 합성 성능을 정량적으로 평가하였고, 비교 결과는 Table 2와 같다.

표 2 다양한 모델의 제로샷 텍스트-이미지 생성 성능

표에서 볼 수 있듯이 LaVIT는 다른 모든 다중 모달 언어 모델보다 성능이 뛰어납니다. Emu와 비교하여 LaVIT는 더 작은 LLM 모델에서 추가 개선을 달성하여 탁월한 시각적-언어적 정렬 기능을 보여줍니다. 또한 LaVIT는 더 적은 훈련 데이터를 사용하면서 최첨단 텍스트-이미지 전문가 Parti와 비슷한 성능을 달성합니다.

다중 모달 프롬프트 이미지 생성

LaVIT는 여러 모달 조합을 프롬프트로 원활하게 수용하고 미세 조정 없이 해당 이미지를 생성할 수 있습니다. LaVIT는 주어진 다중 모드 큐의 스타일과 의미를 정확하게 반영하는 이미지를 생성합니다. 그리고 입력의 다중 모드 단서를 사용하여 원본 입력 이미지를 수정할 수 있습니다. Stable Diffusion과 같은 기존 이미지 생성 모델은 추가로 미세 조정된 다운스트림 데이터 없이는 이 기능을 달성할 수 없습니다.

멀티 모달 이미지 생성 결과 예시

정성 분석

아래 그림과 같이 LaVIT의 다이나믹 토크나이저는 이미지를 기반으로 가장 유익한 정보를 동적으로 선택합니다. 콘텐츠 이미지 패치, 학습된 코드는 높은 수준의 의미를 지닌 시각적 코드를 생성할 수 있습니다.

동적 시각적 토크나이저(왼쪽) 및 학습된 코드북(오른쪽)의 시각화

Summary

LaVIT의 출현은 다중 모드 작업 처리에 혁신적인 패러다임을 제공하며 성공적인 기술을 계승합니다. 비전과 언어를 통합된 개별 토큰 표현으로 표현하기 위해 동적 시각적 토크나이저를 사용하여 LLM의 자동 회귀 생성 학습 패러다임을 제공합니다. LaVIT는 통합된 생성 목표에 따라 최적화함으로써 이미지를 외국어처럼 취급하고 텍스트처럼 이해하고 생성할 수 있습니다. 이 방법의 성공은 LLM의 강력한 추론 기능을 사용하여 보다 스마트하고 포괄적인 다중 모드 이해 및 생성을 위한 새로운 가능성을 열어 미래 다중 모드 연구의 개발 방향에 대한 새로운 영감을 제공합니다.

위 내용은 그래픽 언어: Kuaishou 및 Beida 다중 모드 대형 모델은 DALLE-3과 유사합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!