BLIP-2와 InstructBLIP이 확실히 상위 3위 안에 들었습니다! 12개 주요 모델, 16개 목록, '다중 모드 대형 언어 모델' 종합 평가

MLLM(다중 모드 대형 언어 모델)은 LLM의 풍부한 지식 보유와 강력한 추론 및 일반화 기능을 활용하여 다중 모드 문제를 해결합니다. 그림 보기 및 쓰기, 그림 보기 및 코드 작성과 같은 몇 가지 놀라운 기능이 등장했습니다.

그러나 이러한 사례만으로는 MLLM의 성과를 충분히 반영하기 어렵고, MLLM에 대한 종합적인 평가가 아직 부족합니다.

이를 위해 Tencent Youtu Lab과 Xiamen University는 새로 구축된 평가 벤치마크 MM에서 처음으로 기존 오픈 소스 MLLM 모델 12개에 대한 종합적인 정량 평가를 실시하고 인식 및 인지 전체 목록을 포함한 16개의 순위를 발표했습니다. 및 14개의 하위 목록:

문서 링크: https://arxiv.org/pdf/2306.13394.pdf

프로젝트 링크: https://github.com/BradyFU/Awesome -Multimodal- Large-Language-Models/tree/Evaluation

기존 MLLM의 정량적 평가 방법은 크게 세 가지로 나누어지는데, 모두 성능을 완전히 반영하기 어려운 한계점을 갖고 있습니다.

첫 번째 범주의 방법은 이미지 캡션 및 VQA(Visual Question Answering) 데이터 세트와 같은 기존 공개 데이터 세트에서 평가됩니다.

그러나 한편으로는 이러한 기존 데이터 세트가 MLLM의 새로운 새로운 기능을 반영하지 못할 수도 있습니다. 반면에 대규모 모델 시대의 훈련 세트는 더 이상 통합되지 않기 때문에 이러한 기능을 보장하기 어렵습니다. 평가 데이터 세트는 다른 MLLM에서 훈련되지 않았습니다.

두 번째 방법은 공개 평가를 위해 새로운 데이터를 수집하는 것인데, 이러한 데이터는 공개되지 않거나 [1] 숫자가 너무 적습니다(사진 50장만) [2].

세 번째 방법은 대상 환각[3] 또는 적대적 견고성[4]과 같은 MLLM의 특정 측면에 초점을 맞추며 완전히 평가할 수 없습니다.

MLLM의 급속한 발전에 맞춰 종합적인 평가 벤치마크가 시급합니다. 연구자들은 보편적 종합 평가 벤치마크가 다음과 같은 특징을 가져야 한다고 믿습니다.

(1) 지각 및 인지 능력을 포함하여 최대한 많은 범위를 포괄해야 합니다. 전자는 사물의 존재, 수량, 위치, 색상 등을 포함하여 사물을 식별하는 것을 말합니다. 후자는 감각 정보와 지식을 LLM에 통합하여 보다 복잡한 추론을 수행하는 것을 의미합니다. 전자가 후자의 기초이다.

(2) 데이터 또는 주석은 데이터 유출 위험을 줄이기 위해 기존 공개 데이터 세트를 최대한 사용하지 않아야 합니다.

(3) 지침은 최대한 간결해야 하며 인간의 인지 습관과 일치해야 합니다. 다양한 지침 설계는 모델의 출력에 큰 영향을 미칠 수 있지만 모든 모델은 공정성을 보장하기 위해 통일되고 간결한 지침에 따라 평가됩니다. 좋은 MLLM 모델은 즉각적인 엔지니어링에 빠지지 않도록 간결한 지침으로 일반화할 수 있는 능력이 있어야 합니다.

(4) 이 간결한 지시에 따른 MLLM의 출력은 정량적 통계에 직관적이고 편리해야 합니다. MLLM의 개방형 답변은 정량적 통계에 큰 도전을 제기합니다. 기존 방법은 GPT나 수동 채점을 사용하는 경향이 있으나 부정확성과 주관성의 문제에 직면할 수 있습니다.

그림 1. MME 평가 벤치마크 예시. 각 그림은 두 가지 질문에 해당하며, 대답은 각각 예[Y]와 아니오[N]입니다. 질문에 "예 또는 아니오로 대답해 주세요"라는 질문을 더해 명령을 구성합니다.

위의 이유로 위의 네 가지 특성을 동시에 갖는 새로운 MLLM 평가 벤치마크 MME가 구성되었습니다.

1 MME는 지각 능력과 인지 능력을 동시에 평가합니다. OCR 외에도 감지 기능에는 대략적이고 세밀한 대상 인식이 포함됩니다. 전자는 물체의 존재 여부, 수량, 위치 및 색상을 식별합니다. 후자는 영화 포스터, 유명 인사, 장면, 명소 및 예술 작품을 식별합니다. 인지 능력에는 상식 추론, 수치 계산, 텍스트 번역 및 코드 추론이 포함됩니다. 그림 1에 표시된 것처럼 하위 작업의 총 개수는 14개에 이릅니다.

2. MME의 모든 명령-응답 쌍은 수동으로 구성됩니다. 공개적으로 사용 가능한 몇 가지 데이터 세트의 경우 원래 주석에 의존하지 않고 해당 이미지만 사용되었습니다. 동시에 연구자들은 수동 사진 촬영 및 이미지 생성을 통해 데이터 수집에 최선을 다합니다.

3. MME 지침은 프롬프트 엔지니어링이 모델 출력에 미치는 영향을 피하기 위해 최대한 간결하게 설계되었습니다. 연구원들은 좋은 MLLM은 모든 모델에 공평한 간결하고 자주 사용되는 지침을 일반화해야 한다고 반복합니다. 각 하위 작업에 대한 지침은 그림 1에 나와 있습니다.

4. "예 또는 아니오로 대답해 주세요"라는 명령 설계 덕분에 모델의 "예" 또는 "아니요" 출력을 기반으로 정량적 통계를 쉽게 수행할 수 있습니다. 연구자들이 객관식 질문에 대한 지침을 설계하려고 시도했지만 현재의 MLLM이 여전히 더 복잡한 지침을 따르기가 어렵다는 점은 주목할 가치가 있습니다.

연구원들은 BLIP-2 [5], LLaVA [6], MiniGPT-4 [7], mPLUG-Owl [2], LLaMA-Adapter-v2 [8 ], Otter [9], Multimodal-GPT [10], InstructBLIP [11], VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] 및 LaVIN [15].

그 중에는 Accuracy, Accuracy+, Score 등 세 가지 통계 지표가 있습니다. 각 작업에 대해 정확도는 질문 통계를 기반으로 하고, 정확도+는 그림 통계를 기반으로 하며(그림에 해당하는 두 질문 모두 올바르게 답해야 함), 점수는 정확도와 정확도+의 합입니다.

지각 총점은 10개의 지각 하위 작업 점수의 합이고, 인지 총점은 4개의 인지 작업 점수의 합입니다. 자세한 내용은 프로젝트 링크를 참조하세요.

14개 하위 작업에 대한 12개 모델의 테스트 비교는 그림 2에 나와 있습니다.

그림 2. 14개 하위 작업에 대한 12개 모델 비교. 각 하위 작업의 총점은 200점입니다.

지각 및 인지 카테고리 전체 목록과 14개 하위 작업 목록 등 총 16개 목록도 공개되었습니다. 두 개의 전체 목록은 각각 그림 3과 4에 나와 있습니다. BLIP-2와 InstructBLIP이 두 목록 모두에서 상위 3개 안에 남아 있다는 점은 주목할 가치가 있습니다.

Pictures

그림 3. 지각 작업의 전체 목록

그림 4. 인지 작업의 전체 목록

그림 5. 모든 목록

인 또한 연구원들은 후속 모델 최적화에 대한 지침을 제공하기 위해 그림 6과 같이 실험에서 MLLM 모델에 의해 노출된 몇 가지 일반적인 문제를 요약했습니다.

Pictures

그림 6. MLLM이 노출한 일반적인 문제. [Y]/[N]은 실제 대답이 예/아니요임을 의미합니다. [R]은 MLLM이 생성한 답변입니다.

첫 번째 문제는 지침을 따르지 않는 것입니다.

매우 간결한 지침 설계가 채택되었지만 지침을 따르기보다는 질문에 자유롭게 답변하는 MLLM이 여전히 있습니다.

그림 6의 첫 번째 줄에 표시된 것처럼 명령에는 "예 또는 아니요로 대답해 주세요"라고 명시되어 있지만 MLLM은 선언적 답변만 제공했습니다. 답변 시작 부분에 "예" 또는 "아니요"가 표시되지 않으면 답변이 잘못된 것으로 판단됩니다. 좋은 MLLM은 특히 명령어를 미세 조정한 후에 이러한 간단한 명령어를 일반화할 수 있어야 합니다.

두 번째 문제는 인식 부족입니다.

그림 6의 두 번째 행과 같이 MLLM이 첫 번째 그림의 바나나 개수와 두 번째 그림의 개수를 잘못 식별하여 오답이 나왔습니다. 연구자들은 또한 동일한 그림에 대해 단 한 단어만 다른 두 가지 지시 사항이 완전히 다른 지각 결과를 가져오기 때문에 지각 성능이 지시 사항 변경에 의해 쉽게 영향을 받는다는 사실을 발견했습니다.

세 번째 문제는 추론 능력이 부족하다는 것입니다.

그림 6의 세 번째 줄에 표시된 것처럼 MLLM은 첫 번째 사진이 사무실 공간이 아니라는 것을 이미 알고 있음에도 불구하고 "예"라고 오답을 줬다는 빨간색 텍스트를 통해 알 수 있습니다.

마찬가지로 두 번째 사진에서도 MLLM이 정확한 연산 결과를 계산했지만, 결국 역시 틀린 답을 내놨습니다. “단계적으로 생각해보자”와 같은 사고 연쇄 프롬프트를 추가하면 더 나은 결과를 얻을 수 있습니다. 이 분야에 대한 보다 심층적인 연구를 기대합니다.

네 번째 질문은 명령에 따른 물체 비전입니다. 그림 6의 네 번째 줄에 표시된 것처럼 명령에 그림에 존재하지 않는 개체가 포함되어 있으면 MLLM은 개체가 존재한다고 가정하고 최종적으로 "예"라고 대답합니다.

항상 "예"라고 대답하는 이러한 접근 방식은 정확도가 50%에 가깝고 정확도+가 0에 가깝습니다. 이는 대상 환각을 억제하는 것의 중요성을 보여주며 MLLM에서 생성된 답변의 신뢰성에 대해 더 깊이 생각해 볼 필요가 있음을 보여줍니다.

위 내용은 BLIP-2와 InstructBLIP이 확실히 상위 3위 안에 들었습니다! 12개 주요 모델, 16개 목록, '다중 모드 대형 언어 모델' 종합 평가의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!