搜尋
首頁科技週邊人工智慧五個有前途的AI模型用於圖像翻譯

五個有前途的AI模型用於圖像翻譯

Apr 23, 2023 am 10:55 AM
人工智慧神經網路平面設計

圖像到圖像的翻譯

根據Solanki、Nayyar和Naved在論文中提供的定義,圖像到圖像的翻譯是將圖像從一個域轉換到另一個域的過程,其目標是學習輸入影像和輸出影像之間的映射。

換句話說,我們希望模型能夠透過學習映射函數f將一張圖像a轉換成另一張圖像b。

用于图像翻译的五 种最有前途的 AI 模型

有人可能會想,這些模型有什麼用,它們在人工智慧世界有什麼關聯。應用程式往往有很多,這不僅限於藝術或平面設計領域。例如,能夠拍攝影像並將其轉換為另一個影像來創建合成資料(如分割影像),這對訓練自動駕駛汽車模型非常有用。另一個經過測試的應用程式是地圖設計,其中模型能夠執行兩種轉換(衛星視圖到地圖,反之亦然)。影像翻轉換型也可以應用於建築,模型可以就如何完成未完成的專案提出建議。

影像轉換最引人注目的應用之一是將簡單的繪圖轉換為美麗的風景或繪畫。

用於圖像翻譯的5種最有前途的AI模型

在過去幾年中,已經開發出幾種方法,透過利用生成模型來解決圖像到圖像轉換的問題。最常用的方法是基於以下體系結構:

  • 產生對抗網路(GAN)
  • 變分自編碼器(VAE)
  • 擴散模型(DVAE)
  • Transformers

Pix2Pix

Pix2Pix是一個基於條件GAN的模型。這意味著它的架構是由Generator網路(G)和Discriminator (D)組成的。這兩個網路都是在對抗性遊戲中訓練的,其中G的目標是產生與資料集相似的新影像,而D必須決定影像是生成的(假)還是來自資料集(真)。

Pix2Pix和其他GAN模型之間的主要區別是:(1)第一個Generator將圖像作為輸入來啟動生成過程,而普通GAN使用隨機噪聲;(2)Pix2Pix是一個完全監督模型,這意味著資料集由來自兩個域的成對影像組成。

論文中所描述的體系結構是由一個用於生成器的U-Net和用於Discriminator的Markovian Discriminator或Patch Discriminator定義的:

    ##U-Net:由兩個模組組成(下採樣和上採樣)。使用卷積層將輸入影像簡化為一組較小的影像(稱為特徵映射),然後透過轉置卷積進行上取樣,直到達到原始的輸入維度。下採樣和上採樣之間存在skip connections。
  • Patch Discriminator:卷積網絡,它的輸出是一個矩陣,其中每個元素都是圖像的一個部分(patch)的評估結果。它包括生成的圖像和真實圖像之間的L1距離,以確保生成器學會在給定輸入圖像的情況下映射正確的函數。也稱為馬可夫,因為它依賴來自不同patch的像素是獨立的假設。

用于图像翻译的五 种最有前途的 AI 模型

Pix2Pix結果

無監督圖像到圖像翻譯(UNIT)

在Pix2Pix中,訓練過程是完全監督的(即我們需要成對的圖像輸入)。 UNIT方法的目的是學習將圖像A映射到圖像B的函數,而不需要訓練兩個成對的圖像。

模型從假設兩個域(A和B)共享一個共同的潛在空間(Z)開始。直觀地說,我們可以將這個潛在空間視為影像域A和B之間的中間階段。因此,使用從繪畫到圖像的例子,我們可以使用相同的潛在空間向後生成繪畫圖像或向前看到令人驚嘆的圖像(見圖X)。

圖中:(a)共享潛空間。 (b)UNIT架構:X1是一幅圖畫,X2是一幅美麗的風景;E1, E2是編碼器,從兩個域(繪圖和風景)提取圖像,並將它們映射到共享潛在空間Z;G1 , G2產生器,D1, D2判別器。虛線表示網路之間的共用層。

UNIT模型是在一對VAE-GAN架構下開發的(見上圖),其中編碼器的最後一層(E1, E2)和生成器的第一層(G1, G2)是共享的。

用于图像翻译的五 种最有前途的 AI 模型

UNIT結果

Palette

Palette是加拿大Google研究小組開發的條件擴散模型。此模型經過訓練,可執行與影像轉換相關的4項不同任務,從而獲得高品質的結果:

(i)著色:為灰階影像添加顏色

(ii) Inpainting:用逼真的內容填滿使用者指定的影像區域

(iii)Uncropping:放大影像影格

(iv)JPEG復原:恢復損壞的JPEG影像

在論文中,作者探討了多任務通用模型和多個專門模型之間的區別,兩者都經過一百萬次迭代訓練。此模型的體系結構是基於Dhariwal和Nichol 2021的類別條件U-Net模型,使用1024個批次大小的影像進行1M的訓練步驟。將噪音計畫作為超參數進行預處理和調整,使用不同的計畫進行訓練和預測。

用于图像翻译的五 种最有前途的 AI 模型

Palette結果

Vision Transformers (ViT)

請注意,儘管以下兩個模型並不是專門為圖像轉換設計的,但它們在將諸如transformers等功能強大的模型引入計算機視覺領域方面邁出了明顯的一步。

Vision Transformers(ViT)是Transformers架構的修改(Vaswani等人,2017年),是為影像分類而開發的。此模型將影像作為輸入,並輸出屬於每個已定義類別的機率。

主要問題在於Transformers被設計成以一維序列作為輸入,而不是二維矩陣。為了進行排序,作者建議將影像分割為小塊,將影像視為序列(或NLP中的句子),小塊視為標記(或單字)。

簡單總結一下,我們可以將整個過程分為3個階段:

1)嵌入:將小塊拆分並flatten→應用線性變換→添加類標記(此標記將作為分類時考慮的圖像摘要)→位置嵌入

2)Transformer-Encoder區塊:將嵌入的patches放入一系列變transformer encoder區塊中。注意力機制會學習專注於圖像的哪些部分。

3)分類MLP頭:將類別令牌通過MLP頭,該MLP頭輸出影像屬於每個類別的最終機率。

使用ViT的優點:排列不變。與CNN相比,Transformer不受影像中的平移(元素位置的變化)的影響。

缺點:需要大量標記資料進行訓練(至少14M的圖像)

TransGAN

TransGAN是一個基於transform的GAN模型,設計用於圖像生成,不使用任何卷積層。相反,生成器和鑑別器是由一系列由上採樣和下採樣區塊連接的Transformer組成的。

生成器的正向過程取一個一維數組的隨機雜訊樣本,並將其通過MLP。直觀地說,我們可以把數組想像成一個句子,像素的值想像成單字(請注意,一個由64個元素組成的數組可以重塑為1個通道的8✕8的圖像)接下來,作者應用了一系列Transformer塊,每個塊後面都有一個上採樣層,使數組(圖像)的大小增加一倍。

TransGAN的一個關鍵特徵是Grid-self - attention。當達到高維度影像(即非常長的陣列32✕32 = 1024)時,應用transformer可能導致自註意力機制的爆炸性成本,因為您需要將1024數組的每個像素與所有255個可能的像素進行比較(RGB維度)。因此,網格自註意力不是計算給定標記和所有其他標記之間的對應關係,而是將全維度特徵映射劃分為幾個不重疊的網格,並且在每個局部網格中計算標記交互。

判別器體系結構與前面引用的ViT非常相似。

用于图像翻译的五 种最有前途的 AI 模型

用于图像翻译的五 种最有前途的 AI 模型

#不同資料集上的TransGAN結果


以上是五個有前途的AI模型用於圖像翻譯的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
及時工程中的思想圖是什麼及時工程中的思想圖是什麼Apr 13, 2025 am 11:53 AM

介紹 在迅速的工程中,“思想圖”是指使用圖理論來構建和指導AI的推理過程的新方法。與通常涉及線性S的傳統方法不同

優化您的組織與Genai代理商的電子郵件營銷優化您的組織與Genai代理商的電子郵件營銷Apr 13, 2025 am 11:44 AM

介紹 恭喜!您經營一家成功的業務。通過您的網頁,社交媒體活動,網絡研討會,會議,免費資源和其他來源,您每天收集5000個電子郵件ID。下一個明顯的步驟是

Apache Pinot實時應用程序性能監視Apache Pinot實時應用程序性能監視Apr 13, 2025 am 11:40 AM

介紹 在當今快節奏的軟件開發環境中,確保最佳應用程序性能至關重要。監視實時指標,例如響應時間,錯誤率和資源利用率可以幫助MAIN

Chatgpt擊中了10億用戶? Openai首席執行官說:'短短幾週內翻了一番Chatgpt擊中了10億用戶? Openai首席執行官說:'短短幾週內翻了一番Apr 13, 2025 am 11:23 AM

“您有幾個用戶?”他扮演。 阿爾特曼回答說:“我認為我們上次說的是每週5億個活躍者,而且它正在迅速增長。” “你告訴我,就像在短短幾週內翻了一番,”安德森繼續說道。 “我說那個私人

pixtral -12b:Mistral AI'第一個多模型模型 - 分析Vidhyapixtral -12b:Mistral AI'第一個多模型模型 - 分析VidhyaApr 13, 2025 am 11:20 AM

介紹 Mistral發布了其第一個多模式模型,即Pixtral-12b-2409。該模型建立在Mistral的120億參數Nemo 12B之上。是什麼設置了該模型?現在可以拍攝圖像和Tex

生成AI應用的代理框架 - 分析Vidhya生成AI應用的代理框架 - 分析VidhyaApr 13, 2025 am 11:13 AM

想像一下,擁有一個由AI驅動的助手,不僅可以響應您的查詢,還可以自主收集信息,執行任務甚至處理多種類型的數據(TEXT,圖像和代碼)。聽起來有未來派?在這個a

生成AI在金融部門的應用生成AI在金融部門的應用Apr 13, 2025 am 11:12 AM

介紹 金融業是任何國家發展的基石,因為它通過促進有效的交易和信貸可用性來推動經濟增長。交易的便利和信貸

在線學習和被動攻擊算法指南在線學習和被動攻擊算法指南Apr 13, 2025 am 11:09 AM

介紹 數據是從社交媒體,金融交易和電子商務平台等來源的前所未有的速度生成的。處理這種連續的信息流是一個挑戰,但它提供了

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具