8개 언어로 공통적으로 사용되는 280만 개의 다중 모드 명령-응답 쌍, 비디오 콘텐츠를 다루는 최초의 명령 데이터 세트 MIMIC-IT 출시

최근 AI 대화 도우미는 언어 작업에서 상당한 발전을 이루었습니다. 이러한 상당한 개선은 LLM의 강력한 일반화 능력을 기반으로 할 뿐만 아니라 명령 조정에도 기여해야 합니다. 여기에는 다양하고 수준 높은 교육을 통해 다양한 업무에 대한 LLM을 미세 조정하는 것이 포함됩니다.

명령어 튜닝으로 제로샷 성능을 달성하는 잠재적인 이유 중 하나는 컨텍스트를 내부화하기 때문입니다. 이는 사용자 입력이 상식적인 맥락을 건너뛸 때 특히 중요합니다. LLM은 명령 튜닝을 통합함으로써 사용자 의도에 대한 높은 수준의 이해를 얻고 이전에 볼 수 없었던 작업에서도 더 나은 제로샷 기능을 보여줍니다.

그러나 이상적인 AI 대화 도우미는 여러 양식과 관련된 작업을 해결할 수 있어야 합니다. 이를 위해서는 데이터 세트에 따라 다양하고 고품질의 다중 모드 명령을 획득해야 합니다. 예를 들어, LLaVAInstruct-150K 데이터세트(LLaVA라고도 함)는 데이터세트에 이어 일반적으로 사용되는 시각적-언어적 명령으로, GPT-4 Constructed에서 얻은 이미지 캡션 및 대상 경계 상자를 기반으로 하는 COCO 이미지, 지침 및 응답을 사용합니다. 그러나 LLaVA-Instruct-150K에는 제한된 시각적 다양성, 단일 시각적 데이터로 그림을 사용하는 것, 언어 형태만 포함하는 상황별 정보라는 세 가지 제한 사항이 있습니다.

AI 대화 도우미가 이러한 한계를 극복할 수 있도록 촉진하기 위해 싱가포르 난양기술대학의 학자들과 Microsoft Research Redmond는 280만 개의 다중 모드 상황 항목을 포함하는 다중 모드 상황별 명령 튜닝 데이터 세트 MIMIC-IT를 제안했습니다. 지침 - 다양한 실제 시나리오를 다루는 해당 쌍의 데이터세트입니다.

논문 주소: https://arxiv.org/pdf/2306.05425.pdf

또한 연구원은 명령-응답 쌍을 효율적으로 생성하기 위해 "Sythus"도 도입했습니다. " , 주석에 응답하는 자동화된 파이프라인인 self-instruct 방법에서 영감을 받은 명령입니다. Sythus는 시스템 정보, 시각적 주석 및 상황에 맞는 예제를 사용하여 언어 모델(GPT-4 또는 ChatGPT)을 안내하여 시각적 컨텍스트를 기반으로 명령-응답 쌍을 생성하고 시각적 언어 모델의 세 가지 기본 기능인 인식, 추론 및 이해를 목표로 합니다. 계획. 또한, 영어 명령과 응답을 7개국어로 번역해 다국어 사용을 지원한다.

연구원들이 MIMIC-IT에서 OpenFlamingo를 기반으로 하는 다중 모드 모델 "Otter"를 훈련시킨 것은 특히 주목할 만합니다. ChatGPT와 인간 모두에서 평가된 Otter의 다중 모드 기능은 다른 최신 시각적 언어 모델을 능가합니다.

일련의 데모에서 연구원들은 Otter의 다중 모드 질문 및 답변 기능을 시연했습니다.

Q: 다음에 어떤 카드를 사용할 것인가?

A: 튜브 8개. 이렇게 하면 4번과 5번이 직선을 기다리게 할 수 있습니다.

Q: 착륙하고 싶은데 어떻게 해야 하나요?

A: 왼쪽 하단 버튼을 한 번 누르면 좌회전하고, 착륙하려면 오른쪽 핸드 브레이크를 당기세요.

Q: 다음은 무엇인가요?

A: 공을 중앙으로 패스하고 골대를 향해 달려가 득점 기회를 노립니다.

다음으로 연구 내용을 살펴보겠습니다.

MIMIC-IT 데이터 세트

MIMIC-IT 데이터 세트에는 인식, 추론, 계획 등 기본 기능을 다루는 280만 개의 다중 모드 명령-응답 쌍이 포함되어 있습니다. 각 지침에는 다중 모달 대화 컨텍스트가 수반되므로 MIMIC-IT에서 교육받은 VLM이 대화형 지침에 대한 우수한 숙련도를 입증하고 제로샷 일반화를 수행할 수 있습니다.

LLaVA와 비교하여 MIMIC-IT의 특징은 다음과 같습니다.

(1) 일반 장면, 자기 중심적 관점 장면 및 실내 RGB-D 이미지 등을 포함한 다양한 시각적 장면 이미지 및 다양한 데이터 세트의 비디오

(2) 시각적 데이터인 여러 이미지(또는 하나의 비디오)

(3) 여러 명령-응답 쌍 및 여러 이미지 또는 비디오를 포함한 다중 모드 상황 정보;

(4)는 영어, 중국어, 스페인어, 일본어, 프랑스어, 독일어, 한국어, 아랍어 등 8개 언어를 지원합니다.

다음 그림은 둘의 명령-응답 비교를 추가로 보여줍니다(노란색 상자는 LLaVA입니다).

표 1에 표시된 대로 MIMIC-IT의 데이터 소스는 7개에서 나옵니다. 데이터 세트: COCO, Spot-the-diff(SD), ScanNetV2(SN), VisualStorytelling(VIST), DenseCaption/Activity 캡션(DC), TVCaption(TVC) 및 Ego4D(E4D). "Context" 열의 "lang."은 언어를 나타내고 "vis."는 비전을 나타냅니다.

Sythus: 자동화된 명령-응답 쌍 생성 파이프라인

동시에 연구원들은 여러 언어로 고품질 명령-응답 쌍을 생성하기 위한 자동화된 파이프라인인 Sythus(그림 3)를 제안했습니다. LLaVA가 제안한 프레임워크를 기반으로 연구원들은 ChatGPT를 사용하여 시각적 콘텐츠를 기반으로 명령-응답 쌍을 생성했습니다. 생성된 명령-응답 쌍의 품질을 보장하기 위해 파이프라인은 ChatGPT에 대한 프롬프트로 시스템 정보, 시각적 주석 및 컨텍스트 샘플을 사용합니다. 시스템 정보는 생성된 명령-응답 쌍의 예상되는 톤과 스타일을 정의하는 반면, 시각적 주석은 경계 상자 및 이미지 설명과 같은 기본 이미지 정보를 제공합니다. 상황에 맞는 예는 ChatGPT가 상황에 맞게 학습하는 데 도움이 됩니다.

코어 세트의 품질이 후속 데이터 수집 프로세스에 영향을 미치기 때문에 연구원들은 대규모 쿼리 전에 컨텍스트에 맞게 샘플을 향상시키기 위해 콜드 스타트 ​​전략을 채택했습니다. 콜드 스타트 ​​단계에서는 ChatGPT가 시스템 정보와 시각적 주석을 통해서만 상황에 맞는 샘플을 수집하도록 유도하기 위해 휴리스틱 접근 방식이 사용됩니다. 이 단계는 만족스러운 맥락의 샘플이 식별된 후에만 종료됩니다. 네 번째 단계에서 명령-응답 쌍이 확보되면 파이프라인은 이를 중국어(zh), 일본어(ja), 스페인어(es), 독일어(de), 프랑스어(fr), 한국어(ko) 및 아랍어로 확장합니다. (ar). 자세한 내용은 부록 C에서 확인할 수 있으며 특정 작업 프롬프트는 부록 D에서 확인할 수 있습니다.

실증적 평가

그런 다음 연구원들은 MIMIC-IT 데이터 세트의 다양한 응용 프로그램과 이에 대해 훈련된 시각적 언어 모델(VLM)의 잠재적 기능을 시연했습니다. 먼저 연구원들은 MIMIC-IT 데이터 세트를 사용하여 개발된 상황별 명령 튜닝 모델인 Otter를 소개했습니다. 그런 다음 연구원들은 MIMIC-IT 데이터 세트에서 Otter를 훈련하는 다양한 방법을 탐색하고 Otter를 효과적으로 사용할 수 있는 다양한 시나리오에 대해 논의했습니다.

그림 5는 다양한 시나리오에서 Otter의 반응 예입니다. MIMIC-IT 데이터 세트에 대한 교육 덕분에 Otter는 상황에 따른 이해 및 추론, 상황에 맞는 샘플 학습, 자기중심적인 시각적 보조 기능을 제공할 수 있습니다.

마지막으로 연구원들은 일련의 벤치마크 테스트에서 Otter와 다른 VLM의 성능을 비교 분석했습니다.

ChatGPT 평가

아래 표 2는 MMAGIBench 프레임워크를 사용하는 시각적 언어 모델의 인식 및 추론 기능에 대한 연구자의 광범위한 평가를 보여줍니다[43].

인간 평가

Multi-Modality Arena[32]는 Elo 등급 시스템을 사용하여 VLM 응답의 유용성과 일관성을 평가합니다. 그림 6(b)는 Otter가 뛰어난 실용성과 일관성을 보여 최근 VLM에서 가장 높은 Elo 등급을 달성했음을 보여줍니다.

Few-shot 상황 학습 벤치마크 평가

Otter는 다중 모드 상황 학습을 위해 설계된 아키텍처인 OpenFlamingo에서 미세 조정되었습니다. MIMIC-IT 데이터 세트를 사용하여 미세 조정한 후 Otter는 COCO Captioning(CIDEr) [27] 소수 샷 평가에서 OpenFlamingo보다 훨씬 뛰어난 성능을 보였습니다(그림 6 (c) 참조). 예상한 대로 미세 조정은 제로 샘플 평가에서도 약간의 성능 향상을 가져옵니다.

그림 6: ChatGPT 비디오 이해도 평가.

결점을

토론하세요. 연구원들이 시스템 메시지와 명령-응답 예제를 반복적으로 개선했지만 ChatGPT는 언어 환각에 취약하므로 잘못된 응답을 생성할 수 있습니다. 보다 안정적인 언어 모델에는 자체 지시 데이터 생성이 필요한 경우가 많습니다.

일의 미래. 앞으로 연구원들은 LanguageTable 및 SayCan과 같은 보다 구체적인 AI 데이터 세트를 지원할 계획입니다. 연구자들은 또한 명령어 세트를 개선하기 위해 보다 신뢰할 수 있는 언어 모델이나 생성 기술을 사용하는 것을 고려하고 있습니다.

위 내용은 8개 언어로 공통적으로 사용되는 280만 개의 다중 모드 명령-응답 쌍, 비디오 콘텐츠를 다루는 최초의 명령 데이터 세트 MIMIC-IT 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!