이미지와 텍스트 생성을 통합하는 MiniGPT-5가 출시되었습니다. 토큰은 Voken이 되고 모델은 계속해서 쓸 수 있을 뿐만 아니라 자동으로 그림을 추가할 수도 있습니다.

대규모 모델은 언어와 시각 사이를 도약하고 있으며 텍스트와 이미지 콘텐츠를 원활하게 이해하고 생성할 것을 약속합니다. 일련의 최근 연구에서 다중 모드 기능 통합은 증가하는 추세일 뿐만 아니라 이미 다중 모드 대화에서 콘텐츠 생성 도구에 이르기까지 주요 발전을 가져왔습니다. 대규모 언어 모델은 텍스트 이해 및 생성 분야에서 비교할 수 없는 기능을 보여주었습니다. 그러나 일관된 텍스트 내러티브와 동시에 이미지를 생성하는 것은 여전히 ​​개발되어야 할 영역입니다

최근 캘리포니아 대학 산타크루즈 연구팀은 "생성 투표" 개념을 기반으로 하는 MiniGPT-5를 제안했습니다. 인터리브된 시각적 언어 생성 기술.

• 논문 주소: https://browse.arxiv.org/pdf/2310.02239v1.pdf
• 프로젝트 주소: https://github.com/eric- ai-lab/MiniGPT-5

특별한 시각적 토큰인 "생성 투표"를 통해 LLM과 안정적인 확산 메커니즘을 결합한 MiniGPT-5는 숙련된 다중 모드 생성 모델을 위한 새로운 방식을 예고합니다. 동시에, 본 논문에서 제안하는 2단계 학습 방법은 설명이 없는 기본 단계의 중요성을 강조하여 데이터가 부족한 경우에도 모델이 잘 작동할 수 있도록 합니다. 방법의 일반적인 단계에서는 도메인별 주석이 필요하지 않으므로 우리 솔루션이 기존 방법과 구별됩니다. 생성된 텍스트와 이미지가 조화를 이루도록 하기 위해 본 논문의 이중 손실 전략이 적용되며 생성 투표 방법과 분류 방법에 의해 더욱 강화됩니다.

이러한 기술을 기반으로 이 작업은 변혁적 접근 방식을 나타냅니다. 연구팀은 ViT(Vision Transformer)와 Qformer 및 대규모 언어 모델을 사용하여 다중 모드 입력을 생성 투표로 변환하고 이를 고해상도 Stable Diffusion2.1과 원활하게 연결하여 상황 인식 이미지 생성을 달성합니다. 이 논문은 명령 조정 방법과 보조 입력으로 이미지를 결합하고 텍스트 및 이미지 생성 손실의 사용을 개척하여 텍스트와 비전 간의 시너지를 확장합니다

MiniGPT-5는 CLIP 제약과 같은 모델과 일치하여 교묘하게 확산 모델을 융합합니다. MiniGPT-4를 사용하면 도메인별 주석에 의존하지 않고도 더 나은 다중 모드 결과를 얻을 수 있습니다. 가장 중요한 것은 우리의 전략이 다중 모드 시각적 언어의 기본 모델의 발전을 활용하여 다중 모드 생성 기능을 향상시키기 위한 새로운 청사진을 제공할 수 있다는 것입니다.

아래 그림에 표시된 것처럼 MiniGPT5는 원래의 다중 모드 이해 및 텍스트 생성 기능 외에도 합리적이고 일관된 다중 모드 출력도 제공할 수 있습니다.

이 기사의 기여는 다음과 같습니다. 세 가지 측면에서 반영 :

• 새로운 일반 기법을 대표하며 LLM 및 역생성 Vokens보다 더 효과적인 것으로 입증된 다중 모드 인코더를 사용하고 이를 Stable Diffusion과 결합하여 인터리브 생성을 제안합니다. 시각적 및 언어적 출력(다중 모드 생성이 가능한 다중 모드 언어 모델)
• 설명이 필요 없는 다중 모달 생성을 위한 새로운 2단계 교육 전략을 강조합니다. 단일 모달 정렬 단계는 수많은 텍스트-이미지 쌍에서 고품질의 텍스트 정렬 시각적 특징을 얻습니다. 다중 모드 학습 단계에는 새로운 교육 작업, 프롬프트 컨텍스트 생성이 포함되어 시각적 및 텍스트 프롬프트가 잘 조정되고 생성되도록 합니다. 훈련 단계에서 분류기가 없는 지침을 추가하면 생성 품질이 더욱 향상됩니다.
• 다른 다중 모드 생성 모델과 비교하여 MiniGPT-5는 CC3M 데이터 세트에서 최첨단 성능을 달성합니다. MiniGPT-5는 또한 VIST 및 MMDialog와 같은 잘 알려진 데이터 세트에 대한 새로운 벤치마크를 설정합니다.

이제 본 연구의 내용을 자세히 이해해 봅시다

방법 개요

다중 모드 생성 기능을 갖춘 대규모 언어 모델을 활성화하기 위해 연구자들은 구조화된 프레임워크를 도입했습니다. 사전 학습된 다중 모드 대규모 언어 모델과 텍스트-이미지 생성 모델이 통합되어 있습니다. 서로 다른 모델 분야 간의 차이점을 해결하기 위해 원본 이미지에서 직접 학습할 수 있는 특수 시각적 기호인 "생성 투표"(생성 투표)를 도입했습니다. 또한 분류기가 없는 부트스트래핑 전략과 결합된 2단계 훈련 방법이 발전되어 생성 품질을 더욱 향상시킵니다.

다중 모드 입력 단계

대형 다중 모드 모델(예: MiniGPT-4)의 최근 발전은 주로 다중 모드 이해에 중점을 두고 이미지를 연속 입력으로 처리할 수 있습니다. 기능을 다중 모드 생성으로 확장하기 위해 연구원들은 시각적 기능을 출력하도록 특별히 설계된 생성형 Vokens를 도입했습니다. 또한 다중 모드 출력 학습을 위해 LLM(대형 언어 모델) 프레임워크 내에서 매개변수 효율적인 미세 조정 기술을 채택했습니다.

다중 모드 출력 생성

토큰은 모델의 정확한 정렬을 생성하기 위해 연구원들은 차원 일치를 위한 컴팩트 매핑 모듈을 개발하고 텍스트 공간 손실 및 잠재 확산 모델 손실을 포함한 여러 감독 손실을 도입했습니다. 텍스트 공간 손실은 모델이 토큰의 위치를 ​​정확하게 학습하는 데 도움이 되는 반면, 잠재 확산 손실은 토큰을 적절한 시각적 특징에 직접 정렬합니다. 생성 기호의 특징은 이미지에 의해 직접 안내되므로 이 방법은 완전한 이미지 설명이 필요하지 않으며 설명 없는 학습을 달성합니다

training strategy

사이에 무시할 수 없는 존재가 있다는 점을 고려하면 텍스트 도메인과 이미지 도메인 도메인 이동으로 인해 연구원들은 제한된 인터리브된 텍스트 및 이미지 데이터 세트에 대한 직접 교육이 정렬 불량 및 이미지 품질 저하로 이어질 수 있음을 발견했습니다.

그래서 그들은 이 문제를 완화하기 위해 두 가지 다른 훈련 전략을 사용했습니다. 첫 번째 전략은 확산 프로세스 전반에 걸쳐 생성된 토큰의 효율성을 향상시키기 위해 분류자가 없는 부트스트래핑 기술을 사용하는 것입니다. 두 번째 전략은 대략적인 기능 정렬에 초점을 맞춘 초기 사전 훈련 단계와 미세 조정 단계로 진행됩니다. 복잡한 특징 학습에 대해

실험 및 결과

모델의 효율성을 평가하기 위해 연구진은 여러 벤치마크를 선택하고 일련의 평가를 수행했습니다. 실험의 목적은 다음과 같은 몇 가지 핵심 질문을 해결하는 것입니다.

• MiniGPT-5는 신뢰할 수 있는 이미지와 합리적인 텍스트를 생성할 수 있습니까?
• MiniGPT-5는 단일 라운드 및 다중 라운드 인터리브 시각적 언어 생성 작업에서 다른 SOTA 모델과 비교하여 어떻게 수행됩니까?
• 각 모듈의 디자인이 전체 성능에 어떤 영향을 미치나요?

다양한 훈련 단계에서 MiniGPT-5 모델의 성능을 평가하기 위해 정량적 분석을 실시했으며 그 결과는 그림 3에 나와 있습니다.

다양성과 견고성을 입증하기 위해 제안된 모델의 시각적(이미지 관련 측정항목) 및 언어적(텍스트 측정항목) 영역을 모두 포함하여 평가했습니다.

VIST 최종 단계 평가

첫 번째 실험 세트에는 단일 단계 평가 즉, 마지막 단계의 프롬프트 모델에 따라 해당 이미지가 생성되며 그 결과는 표 1에 나와 있습니다.

MiniGPT-5는 세 가지 설정 모두에서 미세 조정된 SD 2보다 성능이 뛰어납니다. 특히 MiniGPT-5(LoRA) 모델의 CLIP 점수는 특히 이미지와 텍스트 프롬프트를 결합할 때 여러 프롬프트 유형에서 다른 변형보다 지속적으로 뛰어난 성능을 발휘합니다. 반면, FID 점수는 MiniGPT-5(Prefix) 모델의 경쟁력을 강조하며, 이미지 임베딩 품질(CLIP 점수에 반영됨)과 이미지 다양성 및 신뢰성(CLIP 점수에 반영됨) 사이에 균형이 있을 수 있음을 나타냅니다. FID 점수). 단일 양식 등록 단계(UAS가 없는 MiniGPT-5)를 포함하지 않고 VIST에서 직접 훈련된 모델과 비교하면 모델이 의미 있는 이미지를 생성하는 기능을 유지하더라도 이미지 품질과 일관성이 크게 저하됩니다. 이 관찰은 2단계 훈련 전략의 중요성을 강조합니다

VIST 다단계 평가

더 자세하고 포괄적인 평가에서 연구자들은 역사적 이전 모델에 체계적으로 공급했습니다. 맥락에 따라 결과 이미지와 내러티브가 각 단계에서 평가됩니다.

표 2와 표 3은 이러한 실험 결과를 요약하여 각각 이미지 및 언어 측정항목에 대한 성능 개요를 제공합니다. 실험 결과에 따르면 MiniGPT-5는 긴 수준의 다중 모드 입력 신호를 활용하여 원래 모델의 다중 모드 이해 기능을 손상시키지 않으면서 모든 데이터에 걸쳐 일관된 고품질 이미지를 생성할 수 있는 것으로 나타났습니다. 이는 다양한 환경에서 MiniGPT-5의 효율성을 강조합니다.

VIST 인간 평가

표 4에서 볼 수 있듯이 MiniGPT-5 7.18 %가 더 관련성 있게 생성됨 52.06%의 사례에서 텍스트 서술이 더 나은 이미지 품질을 제공했으며, 52.06%의 사례에서 더 나은 이미지 품질을 제공했으며, 57.62%의 장면에서 보다 일관된 다중 모드 출력을 생성했습니다. 가정법 없이 텍스트-이미지 프롬프트 내레이션을 채택하는 2단계 기준과 비교하여 이러한 데이터는 더 강력한 다중 모드 생성 기능을 분명히 보여줍니다.

MMDialog 여러 차례의 평가

표 5의 결과에 따르면 MiniGPT-5는 기본 모델인 Divter보다 텍스트 답장을 생성하는 데 더 정확합니다. 생성된 이미지의 품질은 비슷하지만 MiniGPT-5는 MM 상관 관계 측면에서 기본 모델보다 성능이 뛰어나 이미지 생성 위치를 적절하게 지정하고 매우 일관된 다중 모드 응답을 생성하는 방법을 더 잘 학습할 수 있음을 시사합니다.

MiniGPT-5의 출력을 살펴보고 얼마나 효과적인지 살펴보겠습니다. 아래 그림 7은 MiniGPT-5와 CC3M 검증 세트의 기준 모델을 비교합니다

아래 그림 8은 MiniGPT-5와 VIST 검증 세트의 기준 모델을 비교합니다

아래 그림 9는 MiniGPT-5와 MMDialog 테스트 세트의 기준 모델을 비교한 것입니다.

자세한 연구 내용은 원문을 참고해주세요.

위 내용은 이미지와 텍스트 생성을 통합하는 MiniGPT-5가 출시되었습니다. 토큰은 Voken이 되고 모델은 계속해서 쓸 수 있을 뿐만 아니라 자동으로 그림을 추가할 수도 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!