搜尋
首頁科技週邊人工智慧精選200筆資料後,MiniGPT-4被配對相同模型的效果超越

在產生細節豐富和精確的圖像描述方面,GPT-4 已經展現出了強大超凡的能力,其標誌著一個語言和視覺處理新時代的到來。

因此,類似於GPT-4 的多模態大型語言模型(MLLM)近來異軍突起,成為了一個炙手可熱的新興研究領域,其研究核心是將強大的LLM 用作執行多模態任務的認知框架。 MLLM 出乎意料的卓越表現不僅超越了傳統方法,更使其成為了實現通用人工智慧的潛在途徑之一。

為了創造好用的MLLM,需要使用大規模的配對的圖像- 文字資料以及視覺- 語言微調資料來訓練凍結的LLM(如LLaMA 和Vicuna )與視覺表徵(如CLIP 和BLIP-2)之間的連接器(如MiniGPT-4、LLaVA 和LLaMA-Adapter)。

MLLM 的訓練通常分為兩個階段:預訓練階段和微調階段。預訓練的目的是讓 MLLM 獲得大量知識,而微調則是為了教會模型更好地理解人類意圖並產生準確的回應。

為了增強 MLLM 理解視覺 - 語言和遵循指令的能力,近期出現了一種名為指令微調(instruction tuning)的強大微調技術。該技術有助於將模型與人類偏好對齊,讓模型在各種不同的指令下都能產生人類期望的結果。在發展指令微調技術方面,一個相當有建設性的方向是在微調階段引入影像標註、視覺問答(VQA)和視覺推理資料集。 InstructBLIP 和 Otter 等先前的技術的做法是使用一系列視覺 - 語言資料集來進行視覺指令微調,也得到了頗具潛力的結果。

但是,人們已經觀察到:常用的多模態指令微調資料集包含大量低品質實例,即其中的回應是不正確或不相關的。這樣的數據具有誤導性,並會對模型的表現表現造成負面影響。

這個問題促使研究者開始探究這個可能性:能否使用少量高品質的遵循指示資料來獲得穩健的表現表現?

近期的一些研究得到了鼓舞人心的成果,顯示這個方向是有潛力的。例如 Zhou et al. 提出了 LIMA ,這是一個使用人類專家精挑細選出的高品質資料微調得到的語言模型。該研究表明,即使使用數量有限的高品質遵循指令數據,大型語言模型也可以獲得令人滿意的結果。所以,研究人員得出結論:在對齊方面,少即是多(Less is More)。然而,對於如何為微調多模態語言模型選擇合適的高品質資料集,之前還沒有一個清晰的指導方針。

上海交通大學清源研究院和里海大學的研究團隊填補了這一空白,提出了一個穩健有效的數據選擇器。這個數據選擇器能夠自動識別並過濾低品質視覺 - 語言數據,從而確保模型訓練所使用的都是最相關和資訊最豐富的樣本。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
#論文網址:https://arxiv.org/abs/2308.12067

研究者表示,這項研究關注的重點是探索少量但優質的指令微調資料對微調多模態大型語言模型的功效。除此之外,這篇論文還引入了幾個專為評估多模態指令資料的品質而設計的新指標。在影像上執行譜聚類之後,資料選擇器會計算一個加權分數,其組合了 CLIP 分數、GPT 分數、獎勵分數和每個視覺 - 語言資料的答案長度。

透過在微調 MiniGPT-4 所使用的 3400 個原始資料上使用該選擇器,研究者發現這些資料大部分都有低品質的問題。使用這個數據選擇器,研究者得到了一個小得多的精選數據子集 —— 僅有 200 個數據,只有原始數據集的 6%。然後他們使用像 MiniGPT-4 一樣的訓練配置,微調得到了一個新模型:InstructionGPT-4。

研究者表示這是一個令人興奮的發現,因為其顯示:在視覺 - 語言指令微調中,資料的品質比數量更重要。此外,這種更強調資料品質的變革提供了一個能提升 MLLM 微調的更有效的新範式。

研究者進行了嚴格的實驗,對已微調MLLM 的實驗評估集中於七個多樣化且複雜的開放域多模態資料集,包括Flick- 30k、ScienceQA、 VSR 等。他們在不同的多模態任務上比較了使用不同資料集選取方法(使用資料選擇器、對資料集隨機取樣、使用完整資料集)而微調得到的模型的推理性能,結果展現了InstructionGPT-4 的優越性。

此外還需說明:研究者用於評估的評估者是 GPT-4。具體而言,研究者使用了 prompt 將 GPT-4 變成了評價者,可以使用 LLaVA-Bench 中的測試集來比較 InstructionGPT-4 和原始 MiniGPT-4 的反應結果。

結果發現,儘管與MiniGPT-4 所使用的原始指令遵循資料相比,InstructionGPT-4 使用的微調資料僅有6% 那麼一點點,但後者在73% 的情況下給出的反應都相同或更好。

這篇論文的主要貢獻包括: 

  • #透過選擇200 個(約6%)高品質的指令遵循資料來訓練InstructionGPT-4,研究者表明可以為多模態大型語言模型使用更少的指令資料來實現更好的對齊。 
  • 文中提出了一種資料選擇器,其使用了一種可解釋的簡單原則來選取用於微調的高品質多模態指令遵循資料。這種方法力求在資料子集的評估和調整中實現有效性和可攜性。 
  • 研究者透過實驗顯示這種簡單技巧能夠很好地應對不同任務。相較於原始的 MiniGPT-4,僅使用 6% 已過濾資料微調得到的 InstructionGPT-4 在多種任務上都取得了更優表現。

方法

這項研究的目標是提出一個簡單且可移植的資料選擇器,使其能自動從原始微調資料集中精選出子集。為此,研究者定義了一個選取原則,該原則的重點是多模態資料集的多樣化和品質。下面將簡單介紹一下。

選取原則

#為了有效地訓練MLLM,選取有用的多模態指令資料是至關重要的。而為了選出最優的指令數據,研究者提出了兩大關鍵原則:多樣性與品質。對於多樣性,研究者採用的方法是對影像嵌入進行聚類,以將資料分成不同的組別。為了評估質量,研究者採用了一些用於高效評估多模態資料的關鍵指標。

資料選擇器

給定一個視覺-語言指令資料集和一個預訓練MLLM(如MiniGPT-4 和LLaVA),資料選擇器的最終目標是識別出一個用於微調的子集並且使得該子集能為預訓練MLLM 帶來提升。

為了選出這個子集並確保其多樣性,研究者首先是使用聚類演算法將原始資料集分成多個類別。

為了確保所選的多模態指令資料的質量,研究者制定了一套用於評估的指標,如下表 1 所示。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
表 2 則給出了在計算最終分數時,每個不同分數的權重。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
演算法 1 展示了資料選擇器的整個工作流程。
精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
實驗

#實驗評估中所使用的數據集如下表3 所示。
精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
基準分數

#表4 比較了MiniGPT- 4 基準模型、使用隨機取樣的資料微調得到的MiniGPT-4 以及使用資料選擇器微調得到的InstructionGPT-4 的表現。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
可以觀察到,InstructionGPT-4 的平均表現是最好的。具體來說,InstructionGPT-4 在 ScienceQA 的表現超過基準模型 2.12%,在 OKVQA 和 VCR-OC 上則分別超過基準模型 2.49% 和 4.19%。

此外,InstructionGPT-4 在除 VSR 之外的所有其它任務上都優於隨機樣本訓練的模型。透過在一系列任務上評估和對比這些模型,可以辨別出它們各自的能力,並確定新提出的數據選擇器的效能 —— 數據選擇器能有效識別高品質數據。

這樣的全面分析顯示:明智的資料選擇可以提升模型在各種不同任務上的零樣本表現。

GPT-4 評估

LLM 本身存在固有的位置偏見,對此可參考本站文章《語言模型悄悄偷懶?新研究:上下文太長,模型會略過中間不看》。因此研究者採取了措施來解決這個問題,具體來說就是同時使用兩種排布回應的順序來執行評估,即將 InstructionGPT-4 產生的回應放在 MiniGPT-4 產生的回應之前或之後。為了製定明確的評判標準,他們採用了「贏-平-輸」(Win-Tie-Lose)框架:

1) 贏:InstructionGPT-4 在兩種情況下都贏或贏一次平一次;
2) 平:InstructionGPT-4 與MiniGPT-4 平手兩次或贏一次輸一次;
3) 輸:InstructionGPT-4輸兩次或輸一次平一次。

圖 1 展示了這種評估方法的結果。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
在 60 個問題上,InstructionGPT-4 贏 29 局,輸 16 局,其餘 15 局平手。這足以證明在響應質量上,InstructionGPT-4 明顯優於 MiniGPT-4。

消融研究

表5 給了消融實驗的分析結果,從中可以看出聚類演算法和各種評估分數的重要性。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
#示範


精選200筆資料後,MiniGPT-4被配對相同模型的效果超越

##為了深入了解InstructionGPT-4 在理解視覺輸入和產生合理回應方面的能力,研究者也對InstructionGPT-4 和MiniGPT-4 的圖像理解和對話能力進行了對比評估。此分析基於一個顯眼的實例,涉及到對圖像的描述以及進一步的理解,結果見表 6。
###############InstructionGPT-4 更擅長提供全面的圖像描述和識別圖像中有趣的方面。與 MiniGPT-4 相比,InstructionGPT-4 更有能力辨識影像中存在的文字。在這裡,InstructionGPT-4 能夠正確指出圖像中有一個短語:Monday, just Monday.###############更多細節請參見原始論文。 ###

以上是精選200筆資料後,MiniGPT-4被配對相同模型的效果超越的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
大多數使用的10個功率BI圖 - 分析Vidhya大多數使用的10個功率BI圖 - 分析VidhyaApr 16, 2025 pm 12:05 PM

用Microsoft Power BI圖來利用數據可視化的功能 在當今數據驅動的世界中,有效地將復雜信息傳達給非技術觀眾至關重要。 數據可視化橋接此差距,轉換原始數據i

AI的專家系統AI的專家系統Apr 16, 2025 pm 12:00 PM

專家系統:深入研究AI的決策能力 想像一下,從醫療診斷到財務計劃,都可以訪問任何事情的專家建議。 這就是人工智能專家系統的力量。 這些系統模仿Pro

三個最好的氛圍編碼器分解了這項代碼中的AI革命三個最好的氛圍編碼器分解了這項代碼中的AI革命Apr 16, 2025 am 11:58 AM

首先,很明顯,這種情況正在迅速發生。各種公司都在談論AI目前撰寫的代碼的比例,並且這些代碼的比例正在迅速地增加。已經有很多工作流離失所

跑道AI的Gen-4:AI蒙太奇如何超越荒謬跑道AI的Gen-4:AI蒙太奇如何超越荒謬Apr 16, 2025 am 11:45 AM

從數字營銷到社交媒體的所有創意領域,電影業都站在技術十字路口。隨著人工智能開始重塑視覺講故事的各個方面並改變娛樂的景觀

如何註冊5天ISRO AI免費課程? - 分析Vidhya如何註冊5天ISRO AI免費課程? - 分析VidhyaApr 16, 2025 am 11:43 AM

ISRO的免費AI/ML在線課程:通向地理空間技術創新的門戶 印度太空研究組織(ISRO)通過其印度遙感研究所(IIR)為學生和專業人士提供了絕佳的機會

AI中的本地搜索算法AI中的本地搜索算法Apr 16, 2025 am 11:40 AM

本地搜索算法:綜合指南 規劃大規模活動需要有效的工作量分佈。 當傳統方法失敗時,本地搜索算法提供了強大的解決方案。 本文探討了爬山和模擬

OpenAI以GPT-4.1的重點轉移,將編碼和成本效率優先考慮OpenAI以GPT-4.1的重點轉移,將編碼和成本效率優先考慮Apr 16, 2025 am 11:37 AM

該版本包括三種不同的型號,GPT-4.1,GPT-4.1 MINI和GPT-4.1 NANO,標誌著向大語言模型景觀內的特定任務優化邁進。這些模型並未立即替換諸如

提示:chatgpt生成假護照提示:chatgpt生成假護照Apr 16, 2025 am 11:35 AM

Chip Giant Nvidia週一表示,它將開始製造AI超級計算機(可以處理大量數據並運行複雜算法的機器),完全是在美國首次在美國境內。這一消息是在特朗普總統SI之後發布的

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
1 個月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.聊天命令以及如何使用它們
1 個月前By尊渡假赌尊渡假赌尊渡假赌

熱工具

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境