Pasukan Model Besar Doubao mengeluarkan penanda aras penilaian Kapsyen Imej Perincian baharu untuk meningkatkan kebolehpercayaan penilaian Kapsyen VLM

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

현재 시각적 언어 모델(VLM)은 주로 QA 질문 및 답변 형식을 통해 성능 평가를 수행하지만, 기본 이해 능력에 대한 평가가 부족합니다. 세부 이미지 캡션과 같은 모델 성능에 대한 신뢰할 수 있는 척도입니다.

이 문제에 대해 중국과학원, 북경대학교, 바이트 두바오 빅모델 팀은 DetailCaps-4870 데이터 세트를 공개하고 오픈소스 중 가장 높은 전문가 평가 합의를 달성한 효과적인 평가 지표 CAPTURE를 제안했습니다. 평가지표를 제공하고 저렴한 비용으로 GPT-Eval에 필적하는 결과를 달성합니다.

• Paper: https://arxiv.org/abs/2405.19092
• Dataset: https://huggingface.co/datasets/foundation-multimodal-models/DetailCaps-4870
• 코드 : https://github.com/foundation-multimodal-models/CAPTURE

Introduction

현재 LVLM(대형 비전 언어 모델) 평가에는 다음과 같은 문제가 있습니다.

• 기존 LVLM 평가 솔루션은 주로 VQA 형식을 채택하는데 이는 지침을 따르는 능력에 큰 영향을 받으며 QA 프롬프트의 디자인은 인간의 편견을 쉽게 도입할 수 있습니다.
• 이미지 캡션 작업은 모델 이해 능력을 효과적으로 평가할 수 있지만 기존 캡션 벤치마크는 대부분 짧은 캡션을 Ground Truth로 사용하므로 lvlm 시대에는 완전히 구식입니다.
• 동시에 기존 이미지 캡션 평가 지표는 인간, GPT 등 전문가의 평가 결과와 일치성이 좋지 않아 매칭을 위해 일반적으로 사용되는 지표인 루즈 추출 n-gram이 충분히 민감하지 않습니다. 주요 정보의 정확성을 보장합니다. GPT-Eval은 전문가 평가와 더 일관성이 있지만 평가 비용이 많이 듭니다.

이러한 문제에 대응하여 본 연구에서는 저렴한 비용으로 LVLM 이미지 이해 기능을 정확하게 평가할 수 있는 새로운 세부 이미지 캡션 벤치마크 및 평가 지표를 제안합니다.

본 연구에서는 제안된 평가 데이터 세트 및 지표를 바탕으로 LVLM의 세부 이미지 캡션 역량을 탐색하는 데이터 구축 방법을 탐색하여 세부 캡션 데이터의 품질을 효과적으로 향상시켰습니다. C 그림 1: 왼쪽은 Capture Metric 인스턴스 표시이고 오른쪽은 Detail Caption 구성 방법입니다. 본 연구에서 제안하는 Detail 이미지 캡션 벤치마크는 텍스트 길이가 더 길고, 비반복적인 2개의 숫자가 상당히 많습니다. -그램이며 더 풍부한 시각적 정보를 포함합니다:

표 1: DetailCaps 벤치마크 통계 정보

tion 평가 by exT^{racing and co}Upling co

RE

정보) 표시기는 4단계를 통해 자막 품질 평가를 수행합니다. 아래 그림과 같이 먼저 Factual praser [1]을 사용하여 세부 캡션의 객체, 속성, 관계 요소를 추출한 후 실제 의미가 없는 객체를 필터링합니다. 이후 3단계 매칭(정확 매칭, 동의어 매칭, 임베딩 매칭)을 거쳐 obj, attr, rel 요소의 매칭 점수(F1 스코어)를 계산하고 최종 결과로 가중치를 부여한다. ㅋㅋ                                                                DetailCaps 벤치마크 및 CAPTURE 지표의 지침에 따라 이 연구에서는 데이터에 대한 LVLM의 잠재력을 탐색하는 분할 정복 방법을 제안합니다. 합성하여 세부 캡션 데이터의 품질을 효과적으로 향상시킵니다. . 이 솔루션은 먼저 LVLM을 사용하여 전체 이미지 캡션을 생성한 다음 분할 모델(SAM [2]) 및 클러스터링과 같은 필터링 방법을 사용하여 이미지의 주요 위치를 찾고 로컬 캡션 생성을 위해 잘라냅니다. 기사에서는 캡션의 환각을 줄이기 위해 단어 수준 필터링 방법을 사용합니다. 이 방법은 먼저 이미지의 시각적 요소를 설명하는 단어와 문구를 구문 분석한 다음 대상 탐지 모델(Owlv2 [3)을 통해 점수가 낮은 객체를 필터링합니다. ]) 요소. 마지막으로 필터링된 전체 이미지 캡션과 로컬 캡션이 LLM(LLaMA2[4])으로 전송되어 최종 이미지 설명에 융합됩니다.

ExperimentCAPTURE 표시기

(1) CAPTURE 대 기타 캡션 표시기

-1 00(참조 캡션의 수동 주석, 모델의 수동 평가 LLaVA-1.5 [5], CogVLM [6] 및 ShareCaptioner [7]의 세 가지 모델에서 생성된 캡션을 전문가 점수로 테스트하고 각 평가 지표와 전문가 평가 간의 일관성을 계산했습니다.

ㅋㅋㅋ                                                                              　 　 　　 　　 　　 　　 　　　　 　　 　　 　 　 　 　 　 　 　 평가 지표 전문가 평가와의 일관성은 피어슨 상관관계(선형 상관관계), R^2(절대 크기), Kendall의 타우(순위 부분 순서 쌍 일관성) 및 (Per-) 표본(Kendall's) tau(각 표본은 별도로 계산된 평균) 지표가 측정됩니다.

그 결과, 캡쳐는 다양한 지표에서 최고의 전문가 평가 일관성을 달성한 것으로 나타났습니다. 이러한 지표 중 Sample tau의 계산 방법은 실제 세부 이미지 캡션 평가에 가장 가깝습니다. CAPTURE도 이 지표에서 GPT4-Eval에 가까운 유일한 방법으로 평가 정확도와 비용 간의 균형을 잘 유지합니다.

(2) Ablation 분석

연구원들은 또한 CAPTURE의 각 모듈에 대해 Ablation 분석을 수행하고 그 효과를 검증했습니다.

                                                                                      ^{표 3: CAPTURE 각 모듈의 Ablation 분석}

실험 결과는 중지 단어가 샘플 타우를 효과적으로 향상시키는 것으로 나타났으며 이는 이 모듈의 효율성을 보여줍니다. 그러나 불용어 필터링은 서로 다른 샘플의 세부 캡션에 서로 다른 영향을 미치므로 pcc 및 kendall tau가 약간 감소합니다. 소프트 매칭은 또한 샘플 타우를 향상시키고 1-R2 점수에 상당한 이득 효과가 있어 CAPTURE 예측 점수를 전문가가 득점한 절대 점수와 일치시킵니다. 가중치를 적용하여 최종 점수를 계산할 때 obj:attr:rel의 기본 비율은 5:5:2로 최적이며, 각 요소의 비율을 늘리거나 줄이면 성능이 저하됩니다. (3) 오픈소스 LVLM 상세설명 성능

전체적으로 InternVL-1.5가 현재 성능 최고의 오픈소스 LVLM입니다. LLaVA와 MiniGemini의 결과에서 LLM 매개변수의 수를 늘리면 모델의 세부 캡션 기능이 향상되는 데 일관된 효과가 있음을 알 수 있습니다. 동시에, 더 높은 해상도와 고품질 세부 캡션으로 훈련된 모델이 더 나은 성능을 발휘할 것입니다.

세부자막 데이터 구조

세부자막 평가 데이터셋과 평가지표를 기반으로 연구진은 제안된 세부자막 데이터 합성기법의 유효성을 검증하였다.

(1) 다양한 LVLM에 대한 상세 캡션 합성 방법의 유효성

아래 표와 같이 본 연구에서 제안하는 상세 캡션 합성 방법은 LLaVA-1.5-7B, LLaVA에서 효과적이다. -1.5-13B, LLAVA-Next-7B 및 Mini-Gemini-7B-HD는 일관된 세부 캡션 품질 향상을 얻었습니다.

표 5: 서로 다른 LVLM은 이 연구의 세부 캡션 합성 방법을 사용합니다

(2) Self-loop를 통해 세부 캡션 성능 더욱 향상

연구원들도 데이터 라벨링 -> 모델 훈련 -> 학습 과정을 통해 Self-loop을 수행하여 LVLM 디테일을 더욱 향상시키려고 노력했습니다. 캡션 레이블을 다시 지정하면 네 가지 루프 모두에서 성능이 긍정적인 결과를 얻었습니다. 동시에, 오픈 소스 솔루션[8]을 본 기사에서 제안한 단어 수준 환각 필터링 솔루션과 비교하면 설계의 효율성이 입증됩니다.                                              표 6: 자가 루프 효과 및 절제 분석 세부 캡션 합성 방식

(3) LVLM의 자체 표시 세부 캡션은 전반적인 성능을 향상시킬 수 있습니다.

이 연구에서는 LLaVA-1.5를 사용하여 주어진 세부 사항에 따라 sharegpt4v-100k 데이터를 수행했습니다. 캡션 구성 계획은 LLaVA-1.5의 SFT 교육을 위해 표시된 데이터를 다시 표시하고 사용하여 여러 벤치마크에서 일관된 성능 향상을 달성했습니다.

.

参考文献

[1] Zhuang Li, Yuyang Chai, Terry Zhuo Yue , Lizhen Qu, Gholamreza Haffari, Fei Li, Donghong Ji, dan Quan Hung Tran. Fakta: Penanda aras untuk penghuraian graf adegan tekstual yang setia dan konsisten. arXiv:2305.17497, 2023

[2] Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, dan Wan-Yen Bahagikan apa sahaja. ICCV 2023

[3] Matthias Minderer, Alexey Gritsenko, dan Neil Houlsby. Menskalakan pengesanan objek perbendaharaan kata terbuka. NIPS 2024

[4] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Asas terbuka dan model sembang yang diperhalusi. arXiv:2307.09288, 2023

[5] Haotian Liu, Chunyuan Li, Yuheng Li dan Yong Jae Lee. Garis dasar yang dipertingkatkan dengan penalaan arahan visual. Bengkel NeurIPS 2023 tentang Penalaan Arahan dan Mengikuti Arahan, 2023

[6] Weihan Wang, Qingsong Lv, Wenmeng Yu, Wenyi Hong, Ji Qi, Yan Wang, Junhui Ji, Zhuoyi Yang, Lei Zhao Jiazheng Xu, Bin Xu, Juanzi Li, Yuxiao Dong, Ming Ding, dan Jie Tang. Cogvlm: Pakar visual untuk model bahasa terlatih. arXiv:2311.03079, 2023

[7] Lin Chen, Jisong Li, Xiaoyi Dong, Pan Zhang, Conghui He, Jiaqi Wang, Feng Zhao dan Dahua Lin. Sharegpt4v: Memperbaik model berbilang modal besar dengan kapsyen yang lebih baik. arXiv:2311.12793, 2023

[8] Zhang Li, Biao Yang, Qiang Liu, Zhiyin Ma, Shuo Zhang, Jingxu Yang, Yabo Sun, Yuliang Liu dan Xiang Bai. Monyet: Peleraian imej dan label teks adalah perkara penting untuk model berbilang modal yang besar. arXiv:2311.06607, 2023

豆包大模型团队

^{字节跳动豆包大曢字节跳动豆包大曡 2年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技AI涵盖 NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研天态能力，下游支持豆包、扣子、即梦等 50 + 业务，并通过火山引擎开放给APP}

https://mp.weixin.qq.com/s/ZjQ-v6reZXhBP6G27cbmlQ

Atas ialah kandungan terperinci Pasukan Model Besar Doubao mengeluarkan penanda aras penilaian Kapsyen Imej Perincian baharu untuk meningkatkan kebolehpercayaan penilaian Kapsyen VLM. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!