使用DeepSeek Janus Pro增強多模式抹布

2025年1月27日啟動的DeepSeek Janus Pro 1B是一種高級多模式模型，該模型構建了用於處理和生成文本提示的圖像。該10億個參數版本（1B）具有理解和創建圖像的能力，可為廣泛的應用程序提供有效的性能，包括文本到圖像生成和圖像理解。此外，它擅長從照片中製作詳細的標題，使其成為創意和分析任務的多功能工具。

學習目標

分析其架構和關鍵功能，以增強其功能。 >

探索基礎設計及其對性能的影響。
>逐步構建檢索型生成（RAG）系統的分步指南。
• >利用DeepSeek Janus Pro 10億個模型用於現實世界應用。
• 了解DeepSeek Janus Pro如何優化AI驅動的解決方案。
• >本文是

> > data Science Blogathon的一部分。 內容表>學習目標

>什麼是deepseek janus pro？

• > janus pro 1b
• >>統一的變壓器體系結構
>優化的訓練策略

多模式抹布，帶有deepseek janus pro 1b pro 1b pro 1b模型
步驟1。 pdf
• 步驟4。查詢和從保存的圖像中查詢和檢索步驟5。加載Janus Pro模型
• 步驟6。

什麼是deepseek janus pro？

> DeepSeek Janus Pro是一種多模式AI模型，它集成了文本和圖像處理，能夠理解和生成文本提示中的圖像。 10億個參數版本（1B）旨在跨文本到圖像生成和圖像理解任務等應用程序的有效性能。

在DeepSeek的Janus Pro系列下，可用的主要模型是，它們的參數大小主要不同，7B模型明顯更大，並且在文本到圖像中的性能提高了，兩者都在文本到圖像中提供了改善的性能；兩者都可以認為是基於視覺上下文的多模型模型。Janus Pro 1b

的關鍵特徵和設計方面

• 架構：Janus Pro使用統一的變壓器體系結構，但將視覺編碼分解為單獨的途徑，以提高圖像理解和創建任務中的性能。
>功能
• ：它在與圖像的理解和基於文本提示的新生成有關的任務中脫穎而出。它支持384×384圖像輸入。 >
圖像編碼器
• ：為了理解任務，Janus使用siglip編碼圖像。 Siglip是一種使用Clip框架的圖像嵌入模型，但用成對的Sigmoid損失代替了損耗函數。對於圖像生成，Janus使用了Lamagen的現有編碼器，這是一種自回歸圖像生成模式。 Lallamagen是一個圖像生成模型的家族，將大型語言模型的下一句範式應用於視覺一代> >
開源：
• >可在MIT許可下在GitHub上獲得，並由DeepSeek Model許可管理。 也請閱讀：如何訪問DeepSeek Janus Pro 7b？
用於圖像理解和生成的

脫鉤體系結構

通過採用單獨的專門途徑進行視覺編碼，而不是依靠單個視覺編碼器來了解圖像理解和生成。

>

圖像理解編碼器。

此途徑從圖像中提取語義特徵。

>
• 圖像生成編碼。 >這種解耦的架構有助於特定於任務的優化，減輕解釋和創造性綜合之間的衝突。獨立編碼器解釋輸入特徵，然後由統一自回歸變壓器處理。這允許多模式理解和生成組件獨立選擇其最合適的編碼方法。
也請閱讀：DeepSeek的Janus Pro如何與DALL-E 3？
• >模型體系結構的關鍵功能 1。視覺理解和發電
的雙道路架構

視覺理解途徑：視覺生成途徑

：對於圖像生成任務，Janus Pro使用Lamagen令牌以16的下降速率下降速度來生成更詳細的圖像。

2。統一變壓器體系結構

>共享的變壓器主鍊是underfortext和圖像特徵融合。將原始輸入轉換為功能的獨立編碼方法由統一自動回歸變壓器處理。

。

3。優化的培訓策略

在以前的Janus培訓中，該模型進行了三階段的訓練過程。第一階段的重點是訓練適配器和圖像頭。第二階段處理的統一預處理，在此期間，除了理解編碼器和生成編碼器以外的所有組件都具有其參數更新。第三階段涵蓋了受監督的微調，在第二階段通過進一步解鎖培訓期間的理解編碼參數。

在Janus Pro中得到了改進：

通過增加I階段I的訓練步驟，可以在Imagenet數據集上進行足夠的培訓。
此外，在第二階段，對於文本到圖像生成培訓，將圖像數據完全刪除。取而代之的是，正常的文本到圖像數據被用來訓練模型以基於密集的描述生成圖像。發現這可以提高訓練效率和整體表現。
現在，讓我們使用DeepSeek Janus Pro構建多模式抹布： 帶有DeepSeek Janus Pro 1b模型的多模式抹布
• 在以下步驟中，我們將構建一個多模式的抹布系統，以根據DeepSeek Janus Pro 1b模型查詢圖像。
>步驟1。安裝必要的庫
>步驟2。保存圖像嵌入的模型
Byaldi提供了一個易於使用的框架，用於設置多模式抹布系統。從上面的代碼中可以看出，我們加載colqwen2，該模型旨在使用視覺功能進行有效的文檔索引。
步驟3。加載圖像PDF

!pip install byaldi ollama pdf2image
!sudo apt-get install -y poppler-utils
!git clone https://github.com/deepseek-ai/Janus.git
!pip install -e ./Janus

我們使用此PDF在接下來的一步中查詢並構建一個抹布系統。在上面的代碼中，我們將圖像pdf與向量一起存儲。

>

>步驟4。從保存的圖像中查詢和檢索

import os
from pathlib import Path
from byaldi import RAGMultiModalModel
import ollama
# Initialize RAGMultiModalModel
model1 = RAGMultiModalModel.from_pretrained("vidore/colqwen2-v0.1")

根據查詢，從PDF頁面中的頁面中的相關頁面被檢索並保存為output_image.png。

步驟5。加載Janus Pro模型

!pip install byaldi ollama pdf2image
!sudo apt-get install -y poppler-utils
!git clone https://github.com/deepseek-ai/Janus.git
!pip install -e ./Janus

• > vlchatprocessor.from_pretrated（“ deepseek-ai/janus-pro-1b”）加載用於處理多模式輸入（圖像和文本）的預處理的處理器。該處理器將為模型處理並準備輸入數據（例如文本和圖像）。
從vlchatprocessor提取令牌。它將對文本輸入進行示意，將文本轉換為適合模型的格式。 >
• > automodelforcausallm.from_pretaining（“ deepseek-ai/janus-pro-1b”）
• >加載預先訓練的Janus Pro模型，專門用於因果語言建模。 > >也設置了一個多模式對話格式
在用戶輸入文本和圖像的位置。
• 。 > load_pil_images（對話）是一個函數，它可能會加載對話對像中列出的圖像並將它們轉換為pil映像格式，該函數通常用於python中的圖像處理。
>
• 處理器以下是多模式處理器的實例（來自deepseek janus pro模型的
vlchatprocessor
• ），將文本數據和圖像數據同時作為輸入。 preeg_inputs_embeds（inputs）是一種採用處理後的輸入（輸入包含文本和圖像）的方法，並準備模型生成響應所需的嵌入。
步驟6。輸出生成
• >代碼使用準備好的輸入嵌入（文本和圖像）從DeepSeek Janus Pro 1b模型中生成響應。它使用多種配置設置，例如填充，啟動/結束令牌，最大令牌長度以及是否使用緩存和採樣。生成響應後，它使用令牌器將令牌ID解碼為可讀的文本。解碼的輸出存儲在答案變量中。
>

整個代碼都存在於此COLAB筆記本中。

>

>查詢的輸出

import os
from pathlib import Path
from byaldi import RAGMultiModalModel
import ollama
# Initialize RAGMultiModalModel
model1 = RAGMultiModalModel.from_pretrained("vidore/colqwen2-v0.1")

>另一個查詢

的輸出

“法國的收入是多少？

即使Thecolqwen2檢索器檢索了相關頁面，DeepSeek Janus Pro 1b模型也無法從頁面中產生準確的答案，

即使相關頁面已檢索到相關頁面，上述響應也不准確。確切的答案應為$ 2B。

>另一個查詢的輸出

“”自FY20開始以來的促銷數量是多少？

上述響應是正確的，因為它與PDF中提到的文本匹配。

結論

總之，DeepSeek Janus Pro 1b模型代表了多模式AI的重大進步，其脫鉤體系結構優化了圖像理解和生成任務。通過使用單獨的視覺編碼器來完成這些任務並完善其培訓策略，Janus Pro在文本到圖像生成和圖像分析方面提供了增強的性能。這種創新的方法（帶有DeepSeek Janus Pro的多模式抹布）與其開源可訪問性相結合，使其成為AI驅動的視覺理解和創建中各種應用的強大工具。

鑰匙要點

帶有雙途徑的多模式AI

：Janus pro 1b使用單獨的編碼來集成文本和圖像處理，用於圖像理解（Siglip）和圖像生成（Llamagen），增強了特定於任務的性能。
1. 脫鉤體系結構：
模型將視覺編碼分開為不同的途徑，從而為圖像理解和生成提供了獨立的優化，從而最大程度地減少了處理任務中的衝突。
2. > >統一變壓器骨幹
：共享的變壓器架構合併了文本和圖像的功能，簡化了多模式數據融合以提高AI性能。
3. 改進的培訓策略：>
>開源可訪問性：
4. Janus Pro 1b在MIT許可下可在GitHub上獲得，鼓勵在各種AI驅動的應用程序中廣泛使用和適應。
>本文所示的媒體不歸Analytics Vidhya擁有，並由作者的酌情決定使用。
5. 常見問題 > Q1。什麼是deepseek janus pro 1b？

ans。 DeepSeek Janus Pro 1b是一種多模式AI模型，旨在集成文本和圖像處理，能夠理解和生成文本描述中的圖像。它具有10億參數，可在文本到圖像生成和圖像理解等任務中有效地執行。 Janus Pro 1b的架構如何工作？ Janus Pro使用帶有脫鉤的視覺編碼的統一變壓器體系結構。這意味著它採用單獨的途徑來理解和生成，從而可以針對每個任務進行特定於任務的優化。 Janus Pro的訓練過程與以前的版本有何不同？ Janus Pro通過提高培訓步驟，放棄Imagenet數據集而利用專門的文本圖數據，並專注於更好的微調以提高效率和性能。> Q4。使用Janus Pro 1b？

ans，什麼樣的應用程序可以受益。 Janus Pro 1b對於涉及文本到圖像生成，圖像理解和多模式AI應用程序的任務特別有用，這些應用程序需要圖像和文本處理功能

Q5。 Janus-Pro如何與其他模型（如Dall-E 3？

ans）進行比較。根據DeepSeek的說法，Janus-Pro-7b在基準（例如Geneval和DPG基礎）的基準中優於DALL-E 3。 Janus-Pro將理解/生成分開，縮放數據/模型以生成穩定的圖像，並保持統一，靈活和具有成本效益的結構。儘管這兩種模型都執行文本形像生成，但Janus-Pro還提供圖像字幕，DALL-E 3不。

以上是使用DeepSeek Janus Pro增強多模式抹布的詳細內容。更多資訊請關注PHP中文網其他相關文章！