搜尋
首頁科技週邊人工智慧五個有前途的AI模型用於圖像翻譯

五個有前途的AI模型用於圖像翻譯

Apr 23, 2023 am 10:55 AM
人工智慧神經網路平面設計

圖像到圖像的翻譯

根據Solanki、Nayyar和Naved在論文中提供的定義,圖像到圖像的翻譯是將圖像從一個域轉換到另一個域的過程,其目標是學習輸入影像和輸出影像之間的映射。

換句話說,我們希望模型能夠透過學習映射函數f將一張圖像a轉換成另一張圖像b。

用于图像翻译的五 种最有前途的 AI 模型

有人可能會想,這些模型有什麼用,它們在人工智慧世界有什麼關聯。應用程式往往有很多,這不僅限於藝術或平面設計領域。例如,能夠拍攝影像並將其轉換為另一個影像來創建合成資料(如分割影像),這對訓練自動駕駛汽車模型非常有用。另一個經過測試的應用程式是地圖設計,其中模型能夠執行兩種轉換(衛星視圖到地圖,反之亦然)。影像翻轉換型也可以應用於建築,模型可以就如何完成未完成的專案提出建議。

影像轉換最引人注目的應用之一是將簡單的繪圖轉換為美麗的風景或繪畫。

用於圖像翻譯的5種最有前途的AI模型

在過去幾年中,已經開發出幾種方法,透過利用生成模型來解決圖像到圖像轉換的問題。最常用的方法是基於以下體系結構:

  • 產生對抗網路(GAN)
  • 變分自編碼器(VAE)
  • 擴散模型(DVAE)
  • Transformers

Pix2Pix

Pix2Pix是一個基於條件GAN的模型。這意味著它的架構是由Generator網路(G)和Discriminator (D)組成的。這兩個網路都是在對抗性遊戲中訓練的,其中G的目標是產生與資料集相似的新影像,而D必須決定影像是生成的(假)還是來自資料集(真)。

Pix2Pix和其他GAN模型之間的主要區別是:(1)第一個Generator將圖像作為輸入來啟動生成過程,而普通GAN使用隨機噪聲;(2)Pix2Pix是一個完全監督模型,這意味著資料集由來自兩個域的成對影像組成。

論文中所描述的體系結構是由一個用於生成器的U-Net和用於Discriminator的Markovian Discriminator或Patch Discriminator定義的:

    ##U-Net:由兩個模組組成(下採樣和上採樣)。使用卷積層將輸入影像簡化為一組較小的影像(稱為特徵映射),然後透過轉置卷積進行上取樣,直到達到原始的輸入維度。下採樣和上採樣之間存在skip connections。
  • Patch Discriminator:卷積網絡,它的輸出是一個矩陣,其中每個元素都是圖像的一個部分(patch)的評估結果。它包括生成的圖像和真實圖像之間的L1距離,以確保生成器學會在給定輸入圖像的情況下映射正確的函數。也稱為馬可夫,因為它依賴來自不同patch的像素是獨立的假設。

用于图像翻译的五 种最有前途的 AI 模型

Pix2Pix結果

無監督圖像到圖像翻譯(UNIT)

在Pix2Pix中,訓練過程是完全監督的(即我們需要成對的圖像輸入)。 UNIT方法的目的是學習將圖像A映射到圖像B的函數,而不需要訓練兩個成對的圖像。

模型從假設兩個域(A和B)共享一個共同的潛在空間(Z)開始。直觀地說,我們可以將這個潛在空間視為影像域A和B之間的中間階段。因此,使用從繪畫到圖像的例子,我們可以使用相同的潛在空間向後生成繪畫圖像或向前看到令人驚嘆的圖像(見圖X)。

圖中:(a)共享潛空間。 (b)UNIT架構:X1是一幅圖畫,X2是一幅美麗的風景;E1, E2是編碼器,從兩個域(繪圖和風景)提取圖像,並將它們映射到共享潛在空間Z;G1 , G2產生器,D1, D2判別器。虛線表示網路之間的共用層。

UNIT模型是在一對VAE-GAN架構下開發的(見上圖),其中編碼器的最後一層(E1, E2)和生成器的第一層(G1, G2)是共享的。

用于图像翻译的五 种最有前途的 AI 模型

UNIT結果

Palette

Palette是加拿大Google研究小組開發的條件擴散模型。此模型經過訓練,可執行與影像轉換相關的4項不同任務,從而獲得高品質的結果:

(i)著色:為灰階影像添加顏色

(ii) Inpainting:用逼真的內容填滿使用者指定的影像區域

(iii)Uncropping:放大影像影格

(iv)JPEG復原:恢復損壞的JPEG影像

在論文中,作者探討了多任務通用模型和多個專門模型之間的區別,兩者都經過一百萬次迭代訓練。此模型的體系結構是基於Dhariwal和Nichol 2021的類別條件U-Net模型,使用1024個批次大小的影像進行1M的訓練步驟。將噪音計畫作為超參數進行預處理和調整,使用不同的計畫進行訓練和預測。

用于图像翻译的五 种最有前途的 AI 模型

Palette結果

Vision Transformers (ViT)

請注意,儘管以下兩個模型並不是專門為圖像轉換設計的,但它們在將諸如transformers等功能強大的模型引入計算機視覺領域方面邁出了明顯的一步。

Vision Transformers(ViT)是Transformers架構的修改(Vaswani等人,2017年),是為影像分類而開發的。此模型將影像作為輸入,並輸出屬於每個已定義類別的機率。

主要問題在於Transformers被設計成以一維序列作為輸入,而不是二維矩陣。為了進行排序,作者建議將影像分割為小塊,將影像視為序列(或NLP中的句子),小塊視為標記(或單字)。

簡單總結一下,我們可以將整個過程分為3個階段:

1)嵌入:將小塊拆分並flatten→應用線性變換→添加類標記(此標記將作為分類時考慮的圖像摘要)→位置嵌入

2)Transformer-Encoder區塊:將嵌入的patches放入一系列變transformer encoder區塊中。注意力機制會學習專注於圖像的哪些部分。

3)分類MLP頭:將類別令牌通過MLP頭,該MLP頭輸出影像屬於每個類別的最終機率。

使用ViT的優點:排列不變。與CNN相比,Transformer不受影像中的平移(元素位置的變化)的影響。

缺點:需要大量標記資料進行訓練(至少14M的圖像)

TransGAN

TransGAN是一個基於transform的GAN模型,設計用於圖像生成,不使用任何卷積層。相反,生成器和鑑別器是由一系列由上採樣和下採樣區塊連接的Transformer組成的。

生成器的正向過程取一個一維數組的隨機雜訊樣本,並將其通過MLP。直觀地說,我們可以把數組想像成一個句子,像素的值想像成單字(請注意,一個由64個元素組成的數組可以重塑為1個通道的8✕8的圖像)接下來,作者應用了一系列Transformer塊,每個塊後面都有一個上採樣層,使數組(圖像)的大小增加一倍。

TransGAN的一個關鍵特徵是Grid-self - attention。當達到高維度影像(即非常長的陣列32✕32 = 1024)時,應用transformer可能導致自註意力機制的爆炸性成本,因為您需要將1024數組的每個像素與所有255個可能的像素進行比較(RGB維度)。因此,網格自註意力不是計算給定標記和所有其他標記之間的對應關係,而是將全維度特徵映射劃分為幾個不重疊的網格,並且在每個局部網格中計算標記交互。

判別器體系結構與前面引用的ViT非常相似。

用于图像翻译的五 种最有前途的 AI 模型

用于图像翻译的五 种最有前途的 AI 模型

#不同資料集上的TransGAN結果


以上是五個有前途的AI模型用於圖像翻譯的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
光標AI:為什麼您應該嘗試一次? - 分析Vidhya光標AI:為什麼您應該嘗試一次? - 分析VidhyaApr 14, 2025 am 10:22 AM

介紹 在Andrej Karpathy的病毒推文“英語已成為新的編程語言”之後,這是X上的另一條趨勢推文,說:“未來像選項卡”。

探索Civitai:模特,洛拉和創造性的可能性探索Civitai:模特,洛拉和創造性的可能性Apr 14, 2025 am 10:21 AM

civitai:通過AI驅動的圖像產生釋放您的創造力 想像一下一個平台,您的藝術創意只需單擊幾下即可實現 - 一個空間,您可以在其中微調尖頭AI模型以創建令人驚嘆的個性化圖像。

使用SAM 2掌握圖像和視頻細分使用SAM 2掌握圖像和視頻細分Apr 14, 2025 am 10:16 AM

本指南將引導您了解模型2的內容,其工作原理以及如何利用圖片和視頻中的部分對象。它在破碎的OB中提供了最先進的執行和適應性

AV字節:新模型,研究進展和監管辯論AV字節:新模型,研究進展和監管辯論Apr 14, 2025 am 10:15 AM

本週的AI景觀取得了重大進步,領先的公司揭示了尖端的模型和工具。 關鍵亮點包括AI21實驗室的Jamba 1.5發布,Anthropicai對Claude 3的增強和Bindu Reddy的介紹

亞馬遜Alexa如何使用NLP運作亞馬遜Alexa如何使用NLP運作Apr 14, 2025 am 10:06 AM

介紹 坐在台式機前,遠離您,是您自己的私人助手,她知道您的聲音,回答您的問題,甚至領先於您一步。這是亞歷克薩(Amazon Alexa)的美麗,SM

10個免費資源學習LLMS10個免費資源學習LLMSApr 14, 2025 am 10:04 AM

解鎖大型語言模型(LLMS)的力量:10個免費資源 踏上進入大語模型(LLM)世界的旅程,這是智能聊天機器人和高級數據分析背後的推動力。 該綜合指南揭開了十個FR

您是否在分類建模中犯了這些錯誤?您是否在分類建模中犯了這些錯誤?Apr 14, 2025 am 10:02 AM

介紹 評估機器學習模型不僅是最後一步,而且是成功的基石。想像一下,建立一個高精度使其眼花azz亂的尖端模型,只是發現它在現實下崩潰了

Trocr和Zhen乳膠OCRTrocr和Zhen乳膠OCRApr 14, 2025 am 09:59 AM

探索圖像到文本模型的力量:Trocr和Zhen乳膠OCR AI的世界充滿了語言模型及其在虛擬協助和內容創建中的應用。 但是,圖像到文本轉換的領域,由光學驅動

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。