搜尋
首頁科技週邊人工智慧精選200筆資料後,MiniGPT-4被配對相同模型的效果超越

在產生細節豐富和精確的圖像描述方面,GPT-4 已經展現出了強大超凡的能力,其標誌著一個語言和視覺處理新時代的到來。

因此,類似於GPT-4 的多模態大型語言模型(MLLM)近來異軍突起,成為了一個炙手可熱的新興研究領域,其研究核心是將強大的LLM 用作執行多模態任務的認知框架。 MLLM 出乎意料的卓越表現不僅超越了傳統方法,更使其成為了實現通用人工智慧的潛在途徑之一。

為了創造好用的MLLM,需要使用大規模的配對的圖像- 文字資料以及視覺- 語言微調資料來訓練凍結的LLM(如LLaMA 和Vicuna )與視覺表徵(如CLIP 和BLIP-2)之間的連接器(如MiniGPT-4、LLaVA 和LLaMA-Adapter)。

MLLM 的訓練通常分為兩個階段:預訓練階段和微調階段。預訓練的目的是讓 MLLM 獲得大量知識,而微調則是為了教會模型更好地理解人類意圖並產生準確的回應。

為了增強 MLLM 理解視覺 - 語言和遵循指令的能力,近期出現了一種名為指令微調(instruction tuning)的強大微調技術。該技術有助於將模型與人類偏好對齊,讓模型在各種不同的指令下都能產生人類期望的結果。在發展指令微調技術方面,一個相當有建設性的方向是在微調階段引入影像標註、視覺問答(VQA)和視覺推理資料集。 InstructBLIP 和 Otter 等先前的技術的做法是使用一系列視覺 - 語言資料集來進行視覺指令微調,也得到了頗具潛力的結果。

但是,人們已經觀察到:常用的多模態指令微調資料集包含大量低品質實例,即其中的回應是不正確或不相關的。這樣的數據具有誤導性,並會對模型的表現表現造成負面影響。

這個問題促使研究者開始探究這個可能性:能否使用少量高品質的遵循指示資料來獲得穩健的表現表現?

近期的一些研究得到了鼓舞人心的成果,顯示這個方向是有潛力的。例如 Zhou et al. 提出了 LIMA ,這是一個使用人類專家精挑細選出的高品質資料微調得到的語言模型。該研究表明,即使使用數量有限的高品質遵循指令數據,大型語言模型也可以獲得令人滿意的結果。所以,研究人員得出結論:在對齊方面,少即是多(Less is More)。然而,對於如何為微調多模態語言模型選擇合適的高品質資料集,之前還沒有一個清晰的指導方針。

上海交通大學清源研究院和里海大學的研究團隊填補了這一空白,提出了一個穩健有效的數據選擇器。這個數據選擇器能夠自動識別並過濾低品質視覺 - 語言數據,從而確保模型訓練所使用的都是最相關和資訊最豐富的樣本。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
#論文網址:https://arxiv.org/abs/2308.12067

研究者表示,這項研究關注的重點是探索少量但優質的指令微調資料對微調多模態大型語言模型的功效。除此之外,這篇論文還引入了幾個專為評估多模態指令資料的品質而設計的新指標。在影像上執行譜聚類之後,資料選擇器會計算一個加權分數,其組合了 CLIP 分數、GPT 分數、獎勵分數和每個視覺 - 語言資料的答案長度。

透過在微調 MiniGPT-4 所使用的 3400 個原始資料上使用該選擇器,研究者發現這些資料大部分都有低品質的問題。使用這個數據選擇器,研究者得到了一個小得多的精選數據子集 —— 僅有 200 個數據,只有原始數據集的 6%。然後他們使用像 MiniGPT-4 一樣的訓練配置,微調得到了一個新模型:InstructionGPT-4。

研究者表示這是一個令人興奮的發現,因為其顯示:在視覺 - 語言指令微調中,資料的品質比數量更重要。此外,這種更強調資料品質的變革提供了一個能提升 MLLM 微調的更有效的新範式。

研究者進行了嚴格的實驗,對已微調MLLM 的實驗評估集中於七個多樣化且複雜的開放域多模態資料集,包括Flick- 30k、ScienceQA、 VSR 等。他們在不同的多模態任務上比較了使用不同資料集選取方法(使用資料選擇器、對資料集隨機取樣、使用完整資料集)而微調得到的模型的推理性能,結果展現了InstructionGPT-4 的優越性。

此外還需說明:研究者用於評估的評估者是 GPT-4。具體而言,研究者使用了 prompt 將 GPT-4 變成了評價者,可以使用 LLaVA-Bench 中的測試集來比較 InstructionGPT-4 和原始 MiniGPT-4 的反應結果。

結果發現,儘管與MiniGPT-4 所使用的原始指令遵循資料相比,InstructionGPT-4 使用的微調資料僅有6% 那麼一點點,但後者在73% 的情況下給出的反應都相同或更好。

這篇論文的主要貢獻包括: 

  • #透過選擇200 個(約6%)高品質的指令遵循資料來訓練InstructionGPT-4,研究者表明可以為多模態大型語言模型使用更少的指令資料來實現更好的對齊。 
  • 文中提出了一種資料選擇器,其使用了一種可解釋的簡單原則來選取用於微調的高品質多模態指令遵循資料。這種方法力求在資料子集的評估和調整中實現有效性和可攜性。 
  • 研究者透過實驗顯示這種簡單技巧能夠很好地應對不同任務。相較於原始的 MiniGPT-4,僅使用 6% 已過濾資料微調得到的 InstructionGPT-4 在多種任務上都取得了更優表現。

方法

這項研究的目標是提出一個簡單且可移植的資料選擇器,使其能自動從原始微調資料集中精選出子集。為此,研究者定義了一個選取原則,該原則的重點是多模態資料集的多樣化和品質。下面將簡單介紹一下。

選取原則

#為了有效地訓練MLLM,選取有用的多模態指令資料是至關重要的。而為了選出最優的指令數據,研究者提出了兩大關鍵原則:多樣性與品質。對於多樣性,研究者採用的方法是對影像嵌入進行聚類,以將資料分成不同的組別。為了評估質量,研究者採用了一些用於高效評估多模態資料的關鍵指標。

資料選擇器

給定一個視覺-語言指令資料集和一個預訓練MLLM(如MiniGPT-4 和LLaVA),資料選擇器的最終目標是識別出一個用於微調的子集並且使得該子集能為預訓練MLLM 帶來提升。

為了選出這個子集並確保其多樣性,研究者首先是使用聚類演算法將原始資料集分成多個類別。

為了確保所選的多模態指令資料的質量,研究者制定了一套用於評估的指標,如下表 1 所示。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
表 2 則給出了在計算最終分數時,每個不同分數的權重。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
演算法 1 展示了資料選擇器的整個工作流程。
精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
實驗

#實驗評估中所使用的數據集如下表3 所示。
精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
基準分數

#表4 比較了MiniGPT- 4 基準模型、使用隨機取樣的資料微調得到的MiniGPT-4 以及使用資料選擇器微調得到的InstructionGPT-4 的表現。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
可以觀察到,InstructionGPT-4 的平均表現是最好的。具體來說,InstructionGPT-4 在 ScienceQA 的表現超過基準模型 2.12%,在 OKVQA 和 VCR-OC 上則分別超過基準模型 2.49% 和 4.19%。

此外,InstructionGPT-4 在除 VSR 之外的所有其它任務上都優於隨機樣本訓練的模型。透過在一系列任務上評估和對比這些模型,可以辨別出它們各自的能力,並確定新提出的數據選擇器的效能 —— 數據選擇器能有效識別高品質數據。

這樣的全面分析顯示:明智的資料選擇可以提升模型在各種不同任務上的零樣本表現。

GPT-4 評估

LLM 本身存在固有的位置偏見,對此可參考本站文章《語言模型悄悄偷懶?新研究:上下文太長,模型會略過中間不看》。因此研究者採取了措施來解決這個問題,具體來說就是同時使用兩種排布回應的順序來執行評估,即將 InstructionGPT-4 產生的回應放在 MiniGPT-4 產生的回應之前或之後。為了製定明確的評判標準,他們採用了「贏-平-輸」(Win-Tie-Lose)框架:

1) 贏:InstructionGPT-4 在兩種情況下都贏或贏一次平一次;
2) 平:InstructionGPT-4 與MiniGPT-4 平手兩次或贏一次輸一次;
3) 輸:InstructionGPT-4輸兩次或輸一次平一次。

圖 1 展示了這種評估方法的結果。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
在 60 個問題上,InstructionGPT-4 贏 29 局,輸 16 局,其餘 15 局平手。這足以證明在響應質量上,InstructionGPT-4 明顯優於 MiniGPT-4。

消融研究

表5 給了消融實驗的分析結果,從中可以看出聚類演算法和各種評估分數的重要性。

精選200筆資料後,MiniGPT-4被配對相同模型的效果超越
#示範


精選200筆資料後,MiniGPT-4被配對相同模型的效果超越

##為了深入了解InstructionGPT-4 在理解視覺輸入和產生合理回應方面的能力,研究者也對InstructionGPT-4 和MiniGPT-4 的圖像理解和對話能力進行了對比評估。此分析基於一個顯眼的實例,涉及到對圖像的描述以及進一步的理解,結果見表 6。
###############InstructionGPT-4 更擅長提供全面的圖像描述和識別圖像中有趣的方面。與 MiniGPT-4 相比,InstructionGPT-4 更有能力辨識影像中存在的文字。在這裡,InstructionGPT-4 能夠正確指出圖像中有一個短語:Monday, just Monday.###############更多細節請參見原始論文。 ###

以上是精選200筆資料後,MiniGPT-4被配對相同模型的效果超越的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
潛在的醫療補助削減威脅孕產婦醫療保健潛在的醫療補助削減威脅孕產婦醫療保健Apr 17, 2025 am 11:18 AM

眾議院和參議院都同意在周末進行預算框架。該框架要求削減支出,以支付削減稅收的費用,這些減稅量不成比例,以防止赤字增加,同時也增加

Snowflake首席執行官說,AI ROI始於正確獲取數據Snowflake首席執行官說,AI ROI始於正確獲取數據Apr 17, 2025 am 11:13 AM

雪花首席執行官在坐下來告訴我:“人工智能不應該是大爆炸。” “這應該是一系列小項目,顯示出每一步的價值。”但是,正如拉馬斯瓦米(Ramaswamy)指出的那樣,雖然這聽起來可能謹慎,但實際上是策略。 在中間

每天上傳到Deezer的20,000個AI生成的歌曲每天上傳到Deezer的20,000個AI生成的歌曲Apr 17, 2025 am 11:11 AM

Deezer的首席創新官Aurelien Herault在一份聲明中說:“ AI產生的內容繼續傳到Deezer等洪水流媒體平台,我們沒有看到它放慢速度的跡象。” 儘管沒有減輕洪水的跡象,但Deezer確實有

從體育場到場外:AI如何重塑體育的未來從體育場到場外:AI如何重塑體育的未來Apr 17, 2025 am 11:10 AM

這種轉變不再是理論上的。 卡夫集團(Kraft Group) - 新英格蘭愛國者隊,新英格蘭革命和吉列特體育場(Gillette Stadium)的所有者 - 剛剛宣布與NWN建立戰略合作夥伴關係,以現代化和轉變KR的技術

什麼是及時工程中的問題鏈? - 分析Vidhya什麼是及時工程中的問題鏈? - 分析VidhyaApr 17, 2025 am 11:06 AM

問題鏈:革命性及時工程 想像一下與AI的對話,每個問題都基於上一個問題,從而導致越來越有見地的答案。這是及時工程中的問題鏈(COQ)的力量

訪問Mistral Nemo:功能,應用程序和含義訪問Mistral Nemo:功能,應用程序和含義Apr 17, 2025 am 11:04 AM

Mistral Nemo:強大的開源多語言LLM Mistral AI和Nvidia的合作努力Mismtral Nemo是一種尖端的開源大語模型(LLM),提供最先進的自然語言處理。 這120億桿

Excel中的回合功能是什麼? - 分析VidhyaExcel中的回合功能是什麼? - 分析VidhyaApr 17, 2025 am 10:56 AM

掌握Microsoft Excel的圓形功能,以獲得精確的數值數據 數字是電子表格的基礎,但是實現準確性和可讀性通常不僅需要原始數據。 Microsoft Excel的圓形功能是TRA的強大工具

使用LlamainDex的反射劑指南使用LlamainDex的反射劑指南Apr 17, 2025 am 10:41 AM

增強AI智能:深入研究LlamainDex的反射性AI代理 想像一個AI不僅可以解決問題,而且還反映了自己的改進思維過程。這是反光AI代理的領域,本文探討了

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
1 個月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
1 個月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
1 個月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.聊天命令以及如何使用它們
1 個月前By尊渡假赌尊渡假赌尊渡假赌

熱工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器