視覺語言模型（VLMS）的綜合指南

介紹

想像一下，穿過​​美術館，周圍是生動的繪畫和雕塑。現在，如果您可以向每一部分提出一個問題並獲得有意義的答案，該怎麼辦？您可能會問：“你在講什麼故事？”還是“藝術家為什麼選擇這種顏色？”這就是視覺語言模型（VLM）發揮作用的地方。這些模型，例如博物館中的專家指南，可以解釋圖像，理解上下文，並使用人類語言傳達這些信息。無論是在照片中識別對象，回答有關視覺內容的問題，甚至從描述中生成新圖像，VLM都以曾經是不可能的方式融合視覺和語言的力量。

在本指南中，我們將探討VLM的迷人世界，它們的工作方式，以及剪輯，帕拉馬和佛羅倫薩等突破性模型，這些模型正在改變機器如何與周圍的世界理解和互動。

本文基於最近的演講，使Aritra Roy Gosthipaty和Ritwik Rahaona綜合語言模型綜合指南，在2024年Thedatahack Summit。

學習目標

• 了解視覺語言模型（VLM）的核心概念和功能。
• 探索VLM如何合併對象檢測和圖像分割等任務的視覺和語言數據。
• 了解關鍵VLM架構，例如剪輯，帕拉瑪和佛羅倫薩及其應用。
• 獲得對各種VLM家族的見解，包括預訓練，掩蓋和生成模型。
• 發現對比度學習如何增強VLM的性能以及微調如何提高模型的準確性。

目錄

• 什麼是視覺語言模型？
• 視覺語言模型的功能
• 著名的VLM型號
• 視覺語言模型家族
• 剪輯（對比性語言圖像訓練）
• siglip（暹羅語言圖像預處理）
• 培訓視覺語言模型（VLM）
• 了解鄉親
• 常見問題

什麼是視覺語言模型？

視覺語言模型（VLMS）是指特定類別中的人工智能係統，該系統旨在處理視頻，視頻和文本作為輸入。當我們結合這兩種方式時，VLM可以執行涉及模型以在圖像和文本之間繪製含義的任務；描述圖像，根據圖像回答問題，反之亦然。

VLM的核心強度在於它們能夠彌合計算機視覺和NLP之間的差距。傳統模型通常僅在這些領域之一中擅長 - 在圖像中識別對像或理解人類語言。但是，VLM的專門設計用於結合這兩種模式，通過學習通過語言鏡頭來解釋圖像，反之亦然，從而提供了對數據的更全面的理解，反之亦然。

VLMS的體系結構通常涉及學習視覺和文本數據的聯合表示，從而使模型可以執行跨模式任務。這些模型在包​​含圖像對和相應文本描述的大型數據集上進行了預訓練。在培訓期間，VLMS了解圖像中對象與描述它們的單詞之間的關係，這使模型能夠從圖像中生成文本或在視覺數據的上下文中了解文本提示。

VLM可以處理的關鍵任務的示例包括：

• 視覺問題回答（VQA） ：回答有關圖像內容的問題。
• 圖像字幕：生成圖像中看到的內容的文本描述。
• 對象檢測和分割：識別和標記圖像的不同對像或部分，通常具有文本上下文。

視覺語言模型的功能

視覺語言模型（VLM）已經演變為通過集成視覺和文本信息來解決各種各樣的複雜任務。它們通過利用圖像和語言之間的固有關係來發揮作用，從而使幾個領域的突破性能力能夠發揮作用。

視覺加語言

VLM的基石是他們使用視覺和文本數據來理解和操作的能力。通過同時處理這兩個流，VLM可以執行任務，例如為圖像生成字幕，識別對象與其描述或將視覺信息與文本上下文相關聯。這種跨模式的理解可以使更豐富，更連貫的輸出使它們在現實世界應用程序中具有很高的用途。

對象檢測

對象檢測是VLM的重要能力。它允許模型在圖像中識別和分類對象，從而將其視覺理解與語言標籤紮根。通過結合語言理解，VLM不僅檢測對象，還可以理解和描述其上下文。這不僅包括識別圖像中的“狗”，還包括將其與其他場景元素相關聯，從而使對象檢測更具動態性和信息性。

圖像分割

VLMS通過執行圖像分割來增強傳統視覺模型，該模型根據其內容將圖像分為有意義的片段或區域。在VLMS中，通過文本理解來增強此任務，這意味著模型可以分割特定對象並為每個部分提供上下文描述。這不僅僅是識別對象，因為該模型可以分解並描述圖像的細粒結構。

嵌入

VLM中的另一個非常重要的原理是嵌入角色，因為它為視覺數據和文本數據之間的相互作用提供了共享的空間。這是因為通過關聯圖像和單詞，該模型能夠執行操作，例如查詢給定文本的圖像，反之亦然。這是由於VLM會產生非常有效的圖像表示，因此它們可以幫助縮小交叉模態過程中視覺和語言之間的差距。

視覺問題回答（VQA）

在與VLMS合作的所有形式中，使用VQA給出了更複雜的形式之一，這意味著使用圖像和與圖像相關的問題表示VLM。 VLM在圖像中採用了獲得的圖片解釋，並在適當地回答查詢時採用了自然語言處理理解。例如，如果給出了一個公園的圖像，上面有以下問題：“圖片中可以看到多少個長凳？”該模型能夠解決計數問題並給出答案，這不僅展示了願景，還展示了模型的推理。

著名的VLM型號

已經出現了幾種視覺語言模型（VLM），突破了跨模式學習的界限。每種模型都提供獨特的功能，從而有助於更廣泛的視覺研究領域。以下是一些最重要的VLM：

剪輯（對比性語言圖像預訓練）

剪輯是VLM空間中的開創性模型之一。它利用一種對比度學習方法通​​過學習將圖像與相應的描述匹配來連接視覺和文本數據。該模型處理大規模數據集，這些數據集由與文本配對的圖像組成，並通過優化圖像及其文本對應物之間的相似性，同時區分不匹配對。這種對比方法允許剪輯處理各種任務，包括零拍，圖像字幕，甚至視覺問題回答，而無需明確的特定任務培訓。

從這裡閱讀有關剪輯的更多信息。

llava（大語言和視覺助手）

LLAVA是一個複雜的模型，旨在使視覺和語言數據與復雜的多模式任務相吻合。它使用一種獨特的方法將圖像處理與大語言模型融合在一起，以增強其解釋和響應與圖像相關的查詢的能力。通過利用文本和視覺表示，LLAVA在視覺問題回答，交互式圖像生成和涉及圖像的基於對話的任務中擅長。它與強大的語言模型的集成使其能夠生成詳細的描述並協助實時視覺互動。

從這裡讀取有關llava的模式。

LAMDA（對話應用的語言模型）

儘管LAMDA主要是用語言討論的，但也可以在視覺任務中使用。 LAMDA對於對話系統非常友好，並且與視覺模型相結合。它可以執行視覺問答，圖像控制的對話和其他組合模態任務。 LAMDA是一種改進，因為它傾向於提供類似人類的和上下文相關的答案，這將使需要討論視覺數據（例如自動圖像或視頻分析虛擬助手）的應用程序有益。

從這裡閱讀有關LAMDA的更多信息。

佛羅倫斯

佛羅倫薩是另一種強大的VLM，它同時結合了視覺和語言數據，以執行各種跨模式任務。它在處理大型數據集時以其效率和可擴展性而聞名。該模型的設計用於快速訓練和部署，使其在圖像識別，對象檢測和多模式理解方面表現出色。佛羅倫薩可以整合大量的視覺和文本數據。這使其在圖像檢索，字幕生成和基於圖像的問題回答之類的任務中具有多功能性。

從這裡閱讀有關佛羅倫薩的更多信息。

視覺語言模型家族

視覺語言模型（VLM）根據它們處理多模式數據的方式分為幾個家庭。這些包括預訓練的模型，掩蓋模型，生成模型和對比度學習模型。每個家庭都利用不同的技術來調整視覺和語言方式，使其適合各種任務。

預訓練的模型家族

預訓練的模型建立在配對視覺和語言數據的大型數據集上。這些模型經過一般任務的培訓，可以每次不需要大量數據集對特定應用程序進行微調。

它如何工作

預先訓練的模型系列使用大量圖像和文本數據集。該模型經過訓練，可以識別圖像並與文本標籤或描述相匹配。在經過廣泛的預訓練之後，可以對模型進行微調，以用於圖像字幕或視覺問題的特定任務。預訓練的模型之所以有效，是因為它們最初是對豐富數據的培訓，然後在較小的特定領域進行了微調。這種方法導致各種任務的績效改進。

蒙面模型家族

蒙面模型使用掩蔽技術來訓練VLM。這些模型隨機掩蓋了輸入圖像或文本的部分，並要求模型預測掩蓋的內容，從而迫使其學習更深的上下文關係。

它的工作原理（圖像掩蔽）

掩蓋圖像模型通過隱藏輸入圖像的隨機區域來運行。然後，該模型的任務是預測缺失的像素。這種方法迫使VLM專注於周圍的視覺上下文以重建圖像。結果，該模型對本地和全局視覺特徵有更深入的了解。圖像掩蔽有助於模型對圖像中的空間關係有牢固的理解。這種改善的理解增強了對象檢測和細分等任務的性能。

它的工作原理（文本掩蔽）

在蒙版的語言建模中，輸入文本的一部分被隱藏了。該模型的任務是預測缺失的令牌。這鼓勵VLM了解複雜的語言結構和關係。蒙面文本模型對於掌握細微的語言特徵至關重要。它們在圖像字幕和視覺問題回答等任務上增強了模型的性能，其中了解視覺和文本數據至關重要。

生成家庭

生成模型涉及新數據的生成，其中包括圖像或文本圖像中的文本。這些模型在文本中特別應用於圖像和圖像，涉及從輸入模式中綜合新輸出的文本生成。

文本到圖像生成

使用文本對圖像生成器時，輸入模型為文本，輸出是結果圖像。此任務在非常取決於與單詞和圖像特徵的語義編碼有關的概念。該模型分析文本的語義含義以產生忠誠模型，該模型與給出的輸入相對應。

圖像到文本生成

在圖像到文本生成中，該模型將圖像作為輸入並產生文本輸出，例如字幕。首先，它分析圖像的視覺內容。接下來，它標識對象，場景和動作。然後，該模型將這些元素轉錄為文本。這些生成模型可用於自動標題生成，場景描述和創建視頻場景的故事。

對比度學習

包括剪輯在內的對比模型通過訓練匹配和非匹配圖像文本對來識別它們。這迫使模型將圖像映射到其描述中，同時淨化錯誤的映射，從而使視覺對應對應語言。

它如何工作？

對比學習將圖像及其正確的描述映射到相同的視覺語義語義空間中。它還增加了視覺語義有毒樣品之間的差異。此過程有助於模型了解圖像及其相關文本。它可用於跨模式任務，例如圖像檢索，零拍和視覺問題回答。

剪輯（對比性語言圖像訓練）

剪輯或對比度的語言圖像預處理，是Openai開發的模型。它是視覺語言模型（VLM）字段中的主要模型之一。剪輯將圖像和文本處理為輸入。該模型在圖像文本數據集上進行了訓練。它使用對比度學習將圖像與其文本描述匹配。同時，它區分了無關的圖像文本對。

剪輯如何工作

剪輯使用雙重編碼架構：一個用於圖像，另一個用於文本。核心思想是將圖像及其相應的文本描述同時嵌入到相同的高維矢量空間中，從而使模型可以比較和對比不同的圖像文本對。

剪輯功能的關鍵步驟

• 圖像編碼：與剪輯模型一樣，此模型還使用稱為VIT的視覺變壓器編碼圖像。
• 文本編碼：同時，該模型也通過基於變壓器的文本編碼來編碼相應的文本。
• 對比學習：然後比較編碼圖像和文本之間的相似性，以便可以相應地給出結果。它最大化圖像屬於與描述同一類的成對上的相似性，同時將其最小化在對並非如此的成對上最小化。
• 跨模式對準：權衡產生的模型在任務中非常出色，該模型涉及視覺與零鏡頭學習，圖像檢索甚至倒數圖像合成之類的語言的匹配。

剪輯的應用

• 圖像檢索：給定描述，剪輯可以找到與之匹配的圖像。
• 零射擊分類：剪輯可以對圖像進行分類，而無需針對特定類別的任何其他培訓數據。
• 視覺問題回答：剪輯可以理解有關視覺內容的問題並提供答案。

代碼示例：帶剪輯的圖像到文本

下面是用於使用剪輯執行圖像到文本任務的示例代碼段。此示例演示了剪輯如何編碼圖像和一組文本描述，併計算每個文本與圖像匹配的概率。

導入火炬
導入剪輯
從PIL導入圖像

＃檢查GPU是否可用，否則請使用CPU
設備=“ cuda”如果torch.cuda.is_available（）else“ cpu”

＃加載預訓練的剪輯模型和預處理功能
模型，預處理= clip.load（“ vit-b/32”，設備=設備）

＃加載和預處理圖像
image = preprocess（image.open（“ clip.png”）。

＃定義與圖像進行比較的文本描述集
text = clip.tokenize（[“圖表”，“狗”，“貓”]）。到（設備）

＃執行推理以編碼圖像和文本
使用Torch.no_grad（）：
    image_features = model.encode_image（圖像）
    text_features = model.encode_text（text）

    ＃計算圖像和文本功能之間的相似性
    logits_per_image，logits_per_text =模型（圖像，文本）

    ＃應用SoftMax以獲取與圖像匹配的每個標籤的概率
    probs = logits_per_image.softmax（dim = -1）.cpu（）。 numpy（）

＃輸出概率
打印（“標籤概率：”，概率）

siglip（暹羅語言圖像預處理）

暹羅語言圖像預處理是由Google開發的高級模型，它基於諸如剪輯之類的模型的功能。 Siglip通過利用改進的建築和預訓練技術利用對比度學習的優勢來增強圖像分類任務。它旨在提高零拍圖像分類的效率和準確性。

siglip的工作原理

Siglip利用了暹羅網絡體系結構，涉及兩個平行網絡，這些網絡共享權重，並經過訓練以區分相似和不同的圖像文本對。該體系結構允許Siglip有效地學習圖像和文本的高質量表示。該模型已在圖像的各種數據集和相應的文本描述中進行了預訓練，從而使其能夠概括為各種看不見的任務。

Siglip功能的關鍵步驟

• 暹羅網絡：該模型採用兩個相同的神經網絡，它們分別處理圖像和文本輸入，但共享相同的參數。此設置允許有效比較圖像和文本表示。
• 對比學習：與剪輯類似，Siglip使用對比度學習來最大化匹配的圖像文本對之間的相似性，並將其最小化以使其對不匹配對。
• 對不同數據進行預處理：Siglip在大型且多樣化的數據集中進行了預訓練，從而增強了其在零拍攝方案中表現良好的能力，在該方案中，它在任務上進行了測試，而無需進行任何其他微調。

Siglip的應用

• 零拍攝圖像分類：Siglip在將圖像分類為類別中脫穎而出，尚未通過利用其廣泛的預處理來明確訓練。
• 視覺搜索和檢索：它可用於根據文本查詢檢索圖像或根據描述性文本對圖像進行分類。
• 基於內容的圖像標籤：Siglip可以自動為圖像生成描述性標籤，從而使其對內容管理和組織有用。

代碼示例：帶有siglip的零拍圖像分類

下面是一個示例代碼段，演示瞭如何使用siglip進行零拍圖像分類。該示例顯示瞭如何使用變形金剛庫將圖像分類為候選標籤。

從變形金剛進口管道
從PIL導入圖像
導入請求

＃加載預先訓練的siglip模型
image_classifier = pipeline（task =“ Zero-Shot-image-classification”，Model =“ Google/siglip-base-patch16-224”）

＃從URL加載圖像
url ='http://images.cocodataset.org/val2017/000000039769.jpg'
image = image.open（requests.get（url，stream = true）.raw）

＃定義分類的候選標籤
cantixed_labels = [“ 2個貓”，“飛機”，“遙控”]

＃執行零拍圖像分類
outputs = image_classifier（image，cantidate_labels = cantifate_labels）

＃格式並打印結果
formatted_outputs = [{“ score”：ounder（output [“ score”]，4），“ label”：output [label']}用於輸出中的輸出]
打印（formatted_outputs）

從這裡閱讀有關Siglip的更多信息。

培訓視覺語言模型（VLM）

培訓視覺語言模型（VLM）涉及幾個關鍵階段：

• 數據收集：收集配對圖像和文本的大型數據集，以確保多樣性和質量有效地訓練模型。
• 預處理：使用變壓器體系結構，VLM在大量圖像文本數據上進行了預測。該模型學會通過自我監督的學習任務來編碼視覺和文本信息，例如預測圖像或文本的掩蓋部分。
• 微調：使用較小的任務數據集對特定任務進行了微調。這有助於模型適應特定的應用程序，例如圖像分類或文本生成。
• 生成培訓：對於生成的VLM，培訓涉及學習生成新樣本，例如基於學習的表示形式從圖像或圖像中生成文本。
• 對比學習：該技術通過最大程度地提高正面對的相似性並將其最大程度地減少負面對，從而提高了模型區分相似數據和不同數據的能力。

了解鄉親

Paligemma是一種視覺語言模型（VLM），旨在通過結構化的多階段訓練方法來增強圖像和文本理解。它集成了Siglip和Gemma的組件，以實現高級多模式功能。這是基於成績單和提供的數據的詳細概述：

它如何工作

• 輸入：模型同時採用文本和圖像輸入。文本輸入是通過線性投影和令牌串聯處理的，而圖像是由模型的視覺組成部分編碼的。
• Siglip ：此組件利用視覺變壓器（VIT-SQ400M）體系結構進行圖像處理。它將視覺數據映射到具有文本數據的共享特徵空間中。
• Gemma解碼器：Gemma解碼器結合了文本和圖像的功能以生成輸出。該解碼器對於整合多模式數據並產生有意義的結果至關重要。

pal的訓練階段

現在讓我們研究以下pal的訓練階段：

• 單峰訓練：
  • Siglip（VIT-SQ400M） ：僅在圖像上訓練以構建強大的視覺表示。
  • Gemma-2B ：單獨使用文本訓練，專注於生成強大的文本嵌入。
• 多模式訓練：
  • 224PX，IB示例：在此階段，模型學習以224px分辨率處理圖像文本對，使用輸入示例（IB）來完善其多模式的理解。
• 分辨率增加：
  • 4480X＆896PX ：增加圖像和文本數據的分辨率，以提高模型處理更高細節和更複雜的多模式任務的能力。
• 轉移：
  • 分辨率，時期，學習率：調整關鍵參數，例如分辨率，培訓時期的數量以及學習率，以優化性能並將學習的功能轉移到新任務中。

從這裡閱讀有關paligemma的更多信息。

結論

本視覺語言模型（VLM）指南強調了它們對將視覺和語言技術結合的革命性影響。我們探索了必不可少的功能，例如對象檢測和圖像分割，著名模型，例如剪輯和各種培訓方法。 VLM通過無縫集成視覺和文本數據來推進AI，為將來更直觀和高級應用程序奠定了基礎。

常見問題

Q1。什麼是視覺語言模型（VLM）？

答：視覺語言模型（VLM）集成了視覺和文本數據，以了解和生成圖像和文本的信息。它還啟用了圖像字幕和視覺問題回答之類的任務。

Q2。剪輯如何工作？

A.剪輯使用對比度學習方法來對齊圖像和文本表示。允許它有效地匹配圖像與文本說明。

Q3。 VLM的主要功能是什麼？

A. VLMS在對象檢測，圖像分割，嵌入和視覺問題的回答中表現出色，結合了視覺和語言處理以執行複雜的任務。

Q4。 VLM中微調的目的是什麼？

答：微調將預先訓練的VLM適應特定任務或數據集，從而提高了其特定應用程序的性能和準確性。

以上是視覺語言模型（VLMS）的綜合指南的詳細內容。更多資訊請關注PHP中文網其他相關文章！