搜尋
首頁科技週邊人工智慧學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

最近,深度生成模型在根據文字 prompt 生成高品質影像方面取得了顯著成功,部分原因在於深度生成模型擴展到了大規模網路資料集(如 LAION)。但是,一些重大挑戰依然存在,因而大規模文字到圖像模型無法產生與文字 prompt 完全對齊的圖像。舉例而言,目前的文本到圖像模型往往無法產生可靠的視覺文本,並在組合式圖像生成方面存在困難。

回到語言建模領域,從人類回饋中學習已經成為一種用來「對齊模型行為與人類意圖」的強大解決方案。這類方法透過人類對模型輸出的回饋,首先學習一個旨在反映人類在任務中所關心內容的獎勵函數,然後透過一種強化學習演算法(如近端策略優化PPO)使用學得的獎勵函數來優化語言模型。這種具有人類回饋框架的強化學習(RLHF)已經成功地將大規模語言模型(例如 GPT-3)與複雜的人類品質評估結合在一起。

近日,受 RLHF 在語言領域的成功,Google研究院和加州柏克萊的研究者提出了使用人類回饋來對齊文字到圖像模型的微調方法。

學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

論文網址:https://arxiv.org/pdf/2302.12192v1.pdf

本文方法如下圖1 所示,主要分為3 個步驟。

第一步:首先從「設計用來測試文字到圖像模型輸出對齊的」一組文字 prompt 中產生不同的圖像。具體地,檢查預訓練模型更容易出錯的 prompt—— 產生具有特定顏色、數量和背景的對象,然後收集用於評估模型輸出的二元人類回饋。

第二步:使用了人工標記的資料集,訓練一個獎勵函數來預測給定圖像和文字 prompt 的人類回饋。研究者提出了一項輔助任務,在一組擾動文本 prompt 中識別原始文本 prompt,以更有效地將人類反饋用於獎勵學習。這項技術改進了獎勵函數對未見過圖像和文字 prompt 的泛化表現。

第三步:透過獎勵加權似然最大化更新文字到圖像模型,以更好地使它與人類回饋保持一致。與先前使用強化學習進行最佳化的工作不同,研究者使用半監督學習來更新模型,以測量模型輸出品質即學得的獎勵函數。

學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

研究者使用帶有人類回饋的27000 個圖像- 文字對來微調Stable Diffusion 模型,結果顯示微調後的模型在產生具有特定顏色、數量和背景的物件方面實現顯著提升。圖像 - 文字對齊方面實現了高達 47% 的改進,但圖像保真度略有下降。

此外,組合式生成結果也得到了改進,即在給定未見過顏色、數量和背景 prompt 組合時可以更好地生成未見過的物件。他們還觀察到,學習的獎勵函數比測試文本 prompt 上的 CLIP 分數更符合人類對對齊的評估。

不過,論文一作 Kimin Lee 也表示,本文的結果並沒有解決現有文本到圖像模型中所有的失效模型,仍有許多挑戰。他們希望這項工作能突顯從人類回饋中學習在對齊文生圖模型中的應用潛力。

學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

方法介紹

為了將生成圖像與文字 prompt 對齊,該研究對預訓練模型進行了一系列微調,過程如上圖 1 所示。首先從一組文字prompt 中產生相應的圖像,這個過程旨在測試文生圖模型的各種性能;然後是人類評分員對這些生成的圖像提供二元回饋;接下來,該研究訓練了一個獎勵模型來預測以文字prompt 和圖像作為輸入的人類回饋;最後,該研究使用獎勵加權對數似然對文生圖模型進行微調,以改善文字- 影像對齊。

人類資料收集

為了測試文生圖模型的功能,研究考慮了三類文字prompt:指定數量(specified count)、顏色、背景。對於每個類別,研究對每個描述該物體的單字或短語兩兩進行組合來產生 prompt,例如將綠色(顏色)與一隻狗(數量)組合。此外,研究還考慮了三個類別的組合(例如,在一個城市中兩隻染著綠顏色的狗)。下表 1 更好的闡述了資料集分類。每一個 prompt 都會被用來產生 60 張影像,模型主要為 Stable Diffusion v1.5 。

學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

人類回饋

##接下來對生成的圖像進行人類回饋。由同一個 prompt 產生的 3 張影像會呈現給打標籤人員,並要求他們評估產生的每張影像是否與 prompt 保持一致,評價標準為 good 或 bad。由於這項任務比較簡單,所以用二元回饋就可以了。

獎勵學習

#為了更好的評估圖像- 文字對齊,該研究使用獎勵函數學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?來衡量,該函數可以將圖像x 的CLIP 嵌入和文字prompt z 對應到標量值。之後其用來預測人類回饋 k_y ∈ {0, 1} (1 = good, 0 = bad) 。

從形式上來講,就是給定人類回饋資料集D^human = {(x, z, y)},獎勵函數學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?透過最小化均方誤差(MSE) 來訓練:

學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

之前,已經有研究顯示資料增強方法可以顯著提高資料效率和模型學習效能,為了有效地利用回饋資料集,該研究設計了一個簡單的資料增強方案和獎勵學習的輔助損失(auxiliary loss)。該研究在輔助任務中使用增強 prompt,即對原始 prompt 進行分類獎勵學習。 Prompt 分類器使用獎勵函數,如下所示:

學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

#輔助損失為:

學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

#最後是更新文生圖模型。由於模型產生的資料集多樣性是有限的,可能導致過度擬合。為了緩解這一點,該研究也最小化了預訓練損失,如下所示:#

实验结果 

实验部分旨在测试人类反馈参与模型微调的有效性。实验用到的模型为 Stable Diffusion v1.5 ;数据集信息如表 1(参见上文)和表 2 所示,表 2 显示了由多个人类标签者提供的反馈分布。

學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

人类对文本 - 图像对齐的评分(评估指标为颜色、物体数量)。如图 4 所示,本文方法显著提高了图像 - 文本对齐,具体来说,模型生成的图像中有 50% 的样本获得至少三分之二的赞成票(投票数量为 7 票或更多赞成票),然而,微调会稍微降低图像保真度(15% 比 10%)。 

學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

图 2 显示了来自原始模型和本文经过微调的对应模型的图像示例。可以看到原始模型生成了缺少细节(例如,颜色、背景或计数)的图像(图 2 (a)),本文模型生成的图像符合 prompt 指定的颜色、计数和背景。值得注意的是,本文模型还能生成没有见过的文本 prompt 图像,并且质量非常高(图 2 (b))。

學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

奖励学习的结果。图 3 (a) 为模型在见过的文本 prompt 和未见文本 prompt 中的评分。有奖励(绿色)比 CLIP 分数(红色)更符合典型的人类意图。

學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?

以上是學習ChatGPT,AI繪畫引入人類回饋會怎麼樣?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
讓我們跳舞:結構化運動以微調我們的人類神經網讓我們跳舞:結構化運動以微調我們的人類神經網Apr 27, 2025 am 11:09 AM

科學家已經廣泛研究了人類和更簡單的神經網絡(如秀麗隱桿線蟲中的神經網絡),以了解其功能。 但是,出現了一個關鍵問題:我們如何使自己的神經網絡與新穎的AI一起有效地工作

新的Google洩漏揭示了雙子AI的訂閱更改新的Google洩漏揭示了雙子AI的訂閱更改Apr 27, 2025 am 11:08 AM

Google的雙子座高級:新的訂閱層即將到來 目前,訪問Gemini Advanced需要$ 19.99/月Google One AI高級計劃。 但是,Android Authority報告暗示了即將發生的變化。 最新的Google P中的代碼

數據分析加速度如何求解AI的隱藏瓶頸數據分析加速度如何求解AI的隱藏瓶頸Apr 27, 2025 am 11:07 AM

儘管圍繞高級AI功能炒作,但企業AI部署中潛伏的巨大挑戰:數據處理瓶頸。首席執行官慶祝AI的進步時,工程師努力應對緩慢的查詢時間,管道超載,一個

Markitdown MCP可以將任何文檔轉換為Markdowns!Markitdown MCP可以將任何文檔轉換為Markdowns!Apr 27, 2025 am 09:47 AM

處理文檔不再只是在您的AI項目中打開文件,而是將混亂變成清晰度。諸如PDF,PowerPoints和Word之類的文檔以各種形狀和大小淹沒了我們的工作流程。檢索結構化

如何使用Google ADK進行建築代理? - 分析Vidhya如何使用Google ADK進行建築代理? - 分析VidhyaApr 27, 2025 am 09:42 AM

利用Google的代理開發套件(ADK)的力量創建具有現實世界功能的智能代理!該教程通過使用ADK來構建對話代理,並支持Gemini和GPT等各種語言模型。 w

在LLM上使用SLM進行有效解決問題-Analytics Vidhya在LLM上使用SLM進行有效解決問題-Analytics VidhyaApr 27, 2025 am 09:27 AM

摘要: 小型語言模型 (SLM) 專為效率而設計。在資源匱乏、實時性和隱私敏感的環境中,它們比大型語言模型 (LLM) 更勝一籌。 最適合專注型任務,尤其是在領域特異性、控制性和可解釋性比通用知識或創造力更重要的情況下。 SLM 並非 LLMs 的替代品,但在精度、速度和成本效益至關重要時,它們是理想之選。 技術幫助我們用更少的資源取得更多成就。它一直是推動者,而非驅動者。從蒸汽機時代到互聯網泡沫時期,技術的威力在於它幫助我們解決問題的程度。人工智能 (AI) 以及最近的生成式 AI 也不例

如何將Google Gemini模型用於計算機視覺任務? - 分析Vidhya如何將Google Gemini模型用於計算機視覺任務? - 分析VidhyaApr 27, 2025 am 09:26 AM

利用Google雙子座的力量用於計算機視覺:綜合指南 領先的AI聊天機器人Google Gemini擴展了其功能,超越了對話,以涵蓋強大的計算機視覺功能。 本指南詳細說明瞭如何利用

Gemini 2.0 Flash vs O4-Mini:Google可以比OpenAI更好嗎?Gemini 2.0 Flash vs O4-Mini:Google可以比OpenAI更好嗎?Apr 27, 2025 am 09:20 AM

2025年的AI景觀正在充滿活力,而Google的Gemini 2.0 Flash和Openai的O4-Mini的到來。 這些尖端的車型分開了幾週,具有可比的高級功能和令人印象深刻的基準分數。這個深入的比較

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具