BLIP-2、InstructBLIP穩居前三名！十二大模型，十六份榜單，全面評測「多模態大語言模式」

多模態大語言模型（Multimodal Large Language Model，MLLM）依賴LLM豐富的知識儲備以及強大的推理和泛化能力來解決多模態問題，目前已經湧現出一些令人驚嘆的能力，例如看圖寫作和看圖寫程式。

但僅根據這些範例很難充分反映MLLM的效能，目前仍缺乏對MLLM的全面評測。

為此，騰訊優圖實驗室聯合廈門大學在新建的評測基準MM上首次對現有12種開源MLLM模型進行了全面定量評測並公佈了16個排行榜，包含感知和認知兩個總榜以及14個子榜單：

論文連結：https://arxiv.org/pdf /2306.13394.pdf

專案連結：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models/tree/Evaluation

#現有MLLM的量化評測方法主要分為三類，但都存在一定的限制導致難以全面反映其效能。

第一類方法在傳統的公開資料集上進行評測，例如影像描述（Image Caption）和視覺問答（VQA）資料集。

但一方面這些傳統資料集可能難以反映MLLM湧現的新能力，另一方面由於大模型時代的訓練集都不再統一，因此難以保證這些評測資料集沒有被其他MLLM訓練過。

第二種方式是收集新的資料進行開放式評測，但這些資料要麼未公開[1]，要麼數量太少（只有50張）[2]。

第三種方式聚焦在MLLM的某個特定面向，例如物件幻覺（Object Hallucination）[3]或對抗穩健性[4]，無法做全面評測。

目前亟需一個全面的評測基準來符合MLLM的快速發展。研究人員認為一個通用的全面評測基準應該具有以下特點：

######（1）應該涵蓋盡可能多的範圍，包括感知和認知能力。前者指的是辨識物體，包括其存在性、數量、位置和顏色等。後者指的是綜合感知資訊以及LLM中的知識來進行更複雜的推理。其中前者是後者的基礎。 ############（2）資料或標註應該盡量避免採用現有的公開資料集，以減少資料外洩的風險。 ############（3）指令應該盡可能簡潔並且符合人類的認知習慣。不同的指令設計可能會極大影響模型的輸出，但所有的模型都在統一的簡潔指令下進行評測可以保證公平性。一個好的MLLM模型應該具備泛化到這種簡潔指令上的能力，避免陷入Prompt Engineering。 ############（4）MLLM在該簡潔指令下的輸出應該是直覺的並且便於定量統計。 MLLM開放式的回答給量化統計提出了很大挑戰。現有方法傾向於使用GPT或人工評分，但可能面臨不準確和主觀性的問題。 #####################圖1. MME評測基準範例。每張圖片對應兩個問題，答案分別為Yes[Y]和No[N]。問題加上「Please answer yes or no」共同構成指令。 ############基於以上原因，一個新的MLLM評測基準MME被建構出來，它同時具備以上四個特點：############1. MME同時評測知覺和認知能力。除了OCR外，感知能力還包括粗粒度和細粒度目標識別。前者辨識物體的存在性、數量、位置和顏色。後者識別電影海報、名人、場景、地標和藝術品。認知能力包括常識推理、數值計算、文字翻譯和程式碼推理。總的子任務數達到14種，如圖1所示。 ############2. MME中所有的指令-答案對都是人工建構的。對於少量使用到的公開資料集，僅使用其影像而沒有依賴其原始標註。同時，研究人員也盡力透過人工拍攝和影像生成的方式來擷取數據。 ######

3. MME的指令設計得盡量簡潔以避免Prompt Engineering對模型輸出的影響。研究者再次申明一個好的MLLM應該要泛化到這種簡潔且使用頻繁的指令，這對所有模型都是公平的。圖1中顯示了每個子任務的指令。

4. 得益於指令設計“Please answer yes or no”，可以方便地根據模型輸出的“Yes”或“No”進行定量統計，這種方式可以同時保證準確性和客觀性。值得注意的是，研究者也嘗試設計選擇題的指令，但發現目前的MLLM仍難以跟隨這類較為複雜的指令。

研究人員一共評測了12種先進的MLLM模型，包括BLIP-2 [5]、LLaVA [6]、MiniGPT-4 [7]、 mPLUG-Owl [2] 、LLaMA-Adapter-v2 [8]、Otter [9]、Multimodal-GPT [10]、InstructBLIP [11]、 VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] 與LaVIN [15] 。

其中，統計指標有三種，包含Accuracy，Accuracy 和Score。其中對於每個任務，Accuracy是基於問題統計而來，Accuracy 是基於圖片統計而來（圖片對應的兩個問題都需要正確回答），Score是Accuracy和Accuracy 的和。

知覺的總分為10個知覺類別子任務Score的總和，認知的總分是4種認知類別任務Score的總和。具體詳見項目連結。

12種模型在14種子任務上的測試比較如圖2所示：

圖2. 12種模型在14種子任務上的比較。每種子任務的滿分為200分。

總共16個榜單，包括感知類別和認知類別的總榜單以及14個子任務的榜單也已發布。兩個總榜單分別如圖3和圖4所示，值得注意的是BLIP-2和InstructBLIP在這兩個名單中都維持在前三名。

圖片

圖3.感知類別任務總榜單

#圖4.認知類別任務總榜單

#圖5.所有榜單

##另外研究人員也總結了MLLM模型在實驗中揭露的一些通用問題，如圖6所示，希望可以為後續的模型最佳化提供指導。

圖片

圖6.MLLM揭露的通用問題。 [Y]/[N]表示真實的答案是Yes/No。 [R]是MLLM生成的答案。

######第一個問題是不跟隨指令。 #####################儘管已經採用了非常簡潔的指令設計，但仍然有MLLM自由回答問題而不是跟隨指令。 ############如圖6中的第一行所示，指令已經申明「Please answer yes or no”，但MLLM僅給出了一個陳述性答案。如果回答的開頭沒有出現「Yes」或「No」，都判定該回答錯誤。一個好的MLLM，尤其是經過指令微調後，應該可以泛化到這種簡單的指令上。 ###############第二個問題是缺乏感知能力。 #####################如圖6中的第二行所示，MLLM錯誤地辨識了第一張圖片中香蕉的數量和第二張圖片中的數字，導致回答錯誤。研究人員也注意到感知的性能很容易受到指令變化的影響，因為同一張圖的兩個指令只相差一個單詞，但導致了完全不同的感知結果。 ######

第三個問題是缺乏推理能力。

如圖6中的第三行所示，從紅色的文字可以看出MLLM已經知道了第一張圖片不是一個辦公室，但仍然給出了一個錯誤的回答「Yes」。

相似地，在第二張圖片中，MLLM已經計算得到了正確的算數結果，但最終也給出了錯誤的答案。再加上思維鏈Prompt，例如「Let’s think step by step」或許能帶來更好的效果。期待這方面有更深入的研究。

第四個問題跟隨指令的物件幻視。如圖6中的第四行所示，當指令中含有圖片中不存在的物體時，MLLM將會幻想該物體存在並最終給出一個「Yes」的答案。

這種總是回答「Yes」的方式導致了Accuracy接近50%，Accuracy 接近於0。這顯示抑制目標幻視的重要性，也需要進一步思考MLLM產生的答案的可靠性。

以上是BLIP-2、InstructBLIP穩居前三名！十二大模型，十六份榜單，全面評測「多模態大語言模式」的詳細內容。更多資訊請關注PHP中文網其他相關文章！