圖像到圖像的翻譯
根據Solanki、Nayyar和Naved在論文中提供的定義,圖像到圖像的翻譯是將圖像從一個域轉換到另一個域的過程,其目標是學習輸入影像和輸出影像之間的映射。
換句話說,我們希望模型能夠透過學習映射函數f將一張圖像a轉換成另一張圖像b。
有人可能會想,這些模型有什麼用,它們在人工智慧世界有什麼關聯。應用程式往往有很多,這不僅限於藝術或平面設計領域。例如,能夠拍攝影像並將其轉換為另一個影像來創建合成資料(如分割影像),這對訓練自動駕駛汽車模型非常有用。另一個經過測試的應用程式是地圖設計,其中模型能夠執行兩種轉換(衛星視圖到地圖,反之亦然)。影像翻轉換型也可以應用於建築,模型可以就如何完成未完成的專案提出建議。
影像轉換最引人注目的應用之一是將簡單的繪圖轉換為美麗的風景或繪畫。
用於圖像翻譯的5種最有前途的AI模型
在過去幾年中,已經開發出幾種方法,透過利用生成模型來解決圖像到圖像轉換的問題。最常用的方法是基於以下體系結構:
- 產生對抗網路(GAN)
- 變分自編碼器(VAE)
- 擴散模型(DVAE)
- Transformers
Pix2Pix
Pix2Pix是一個基於條件GAN的模型。這意味著它的架構是由Generator網路(G)和Discriminator (D)組成的。這兩個網路都是在對抗性遊戲中訓練的,其中G的目標是產生與資料集相似的新影像,而D必須決定影像是生成的(假)還是來自資料集(真)。
Pix2Pix和其他GAN模型之間的主要區別是:(1)第一個Generator將圖像作為輸入來啟動生成過程,而普通GAN使用隨機噪聲;(2)Pix2Pix是一個完全監督模型,這意味著資料集由來自兩個域的成對影像組成。
論文中所描述的體系結構是由一個用於生成器的U-Net和用於Discriminator的Markovian Discriminator或Patch Discriminator定義的:
- ##U-Net:由兩個模組組成(下採樣和上採樣)。使用卷積層將輸入影像簡化為一組較小的影像(稱為特徵映射),然後透過轉置卷積進行上取樣,直到達到原始的輸入維度。下採樣和上採樣之間存在skip connections。
- Patch Discriminator:卷積網絡,它的輸出是一個矩陣,其中每個元素都是圖像的一個部分(patch)的評估結果。它包括生成的圖像和真實圖像之間的L1距離,以確保生成器學會在給定輸入圖像的情況下映射正確的函數。也稱為馬可夫,因為它依賴來自不同patch的像素是獨立的假設。
在論文中,作者探討了多任務通用模型和多個專門模型之間的區別,兩者都經過一百萬次迭代訓練。此模型的體系結構是基於Dhariwal和Nichol 2021的類別條件U-Net模型,使用1024個批次大小的影像進行1M的訓練步驟。將噪音計畫作為超參數進行預處理和調整,使用不同的計畫進行訓練和預測。
Palette結果
Vision Transformers (ViT)
請注意,儘管以下兩個模型並不是專門為圖像轉換設計的,但它們在將諸如transformers等功能強大的模型引入計算機視覺領域方面邁出了明顯的一步。
Vision Transformers(ViT)是Transformers架構的修改(Vaswani等人,2017年),是為影像分類而開發的。此模型將影像作為輸入,並輸出屬於每個已定義類別的機率。
主要問題在於Transformers被設計成以一維序列作為輸入,而不是二維矩陣。為了進行排序,作者建議將影像分割為小塊,將影像視為序列(或NLP中的句子),小塊視為標記(或單字)。
簡單總結一下,我們可以將整個過程分為3個階段:
1)嵌入:將小塊拆分並flatten→應用線性變換→添加類標記(此標記將作為分類時考慮的圖像摘要)→位置嵌入
2)Transformer-Encoder區塊:將嵌入的patches放入一系列變transformer encoder區塊中。注意力機制會學習專注於圖像的哪些部分。
3)分類MLP頭:將類別令牌通過MLP頭,該MLP頭輸出影像屬於每個類別的最終機率。
使用ViT的優點:排列不變。與CNN相比,Transformer不受影像中的平移(元素位置的變化)的影響。
缺點:需要大量標記資料進行訓練(至少14M的圖像)
TransGAN
TransGAN是一個基於transform的GAN模型,設計用於圖像生成,不使用任何卷積層。相反,生成器和鑑別器是由一系列由上採樣和下採樣區塊連接的Transformer組成的。
生成器的正向過程取一個一維數組的隨機雜訊樣本,並將其通過MLP。直觀地說,我們可以把數組想像成一個句子,像素的值想像成單字(請注意,一個由64個元素組成的數組可以重塑為1個通道的8✕8的圖像)接下來,作者應用了一系列Transformer塊,每個塊後面都有一個上採樣層,使數組(圖像)的大小增加一倍。
TransGAN的一個關鍵特徵是Grid-self - attention。當達到高維度影像(即非常長的陣列32✕32 = 1024)時,應用transformer可能導致自註意力機制的爆炸性成本,因為您需要將1024數組的每個像素與所有255個可能的像素進行比較(RGB維度)。因此,網格自註意力不是計算給定標記和所有其他標記之間的對應關係,而是將全維度特徵映射劃分為幾個不重疊的網格,並且在每個局部網格中計算標記交互。
判別器體系結構與前面引用的ViT非常相似。
#不同資料集上的TransGAN結果
以上是五個有前途的AI模型用於圖像翻譯的詳細內容。更多資訊請關注PHP中文網其他相關文章!

介紹 恭喜!您經營一家成功的業務。通過您的網頁,社交媒體活動,網絡研討會,會議,免費資源和其他來源,您每天收集5000個電子郵件ID。下一個明顯的步驟是

介紹 在當今快節奏的軟件開發環境中,確保最佳應用程序性能至關重要。監視實時指標,例如響應時間,錯誤率和資源利用率可以幫助MAIN

“您有幾個用戶?”他扮演。 阿爾特曼回答說:“我認為我們上次說的是每週5億個活躍者,而且它正在迅速增長。” “你告訴我,就像在短短幾週內翻了一番,”安德森繼續說道。 “我說那個私人

介紹 Mistral發布了其第一個多模式模型,即Pixtral-12b-2409。該模型建立在Mistral的120億參數Nemo 12B之上。是什麼設置了該模型?現在可以拍攝圖像和Tex

想像一下,擁有一個由AI驅動的助手,不僅可以響應您的查詢,還可以自主收集信息,執行任務甚至處理多種類型的數據(TEXT,圖像和代碼)。聽起來有未來派?在這個a


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

VSCode Windows 64位元 下載
微軟推出的免費、功能強大的一款IDE編輯器

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

ZendStudio 13.5.1 Mac
強大的PHP整合開發環境

WebStorm Mac版
好用的JavaScript開發工具