圖像到圖像的翻譯
根據Solanki、Nayyar和Naved在論文中提供的定義,圖像到圖像的翻譯是將圖像從一個域轉換到另一個域的過程,其目標是學習輸入影像和輸出影像之間的映射。
換句話說,我們希望模型能夠透過學習映射函數f將一張圖像a轉換成另一張圖像b。
有人可能會想,這些模型有什麼用,它們在人工智慧世界有什麼關聯。應用程式往往有很多,這不僅限於藝術或平面設計領域。例如,能夠拍攝影像並將其轉換為另一個影像來創建合成資料(如分割影像),這對訓練自動駕駛汽車模型非常有用。另一個經過測試的應用程式是地圖設計,其中模型能夠執行兩種轉換(衛星視圖到地圖,反之亦然)。影像翻轉換型也可以應用於建築,模型可以就如何完成未完成的專案提出建議。
影像轉換最引人注目的應用之一是將簡單的繪圖轉換為美麗的風景或繪畫。
用於圖像翻譯的5種最有前途的AI模型
在過去幾年中,已經開發出幾種方法,透過利用生成模型來解決圖像到圖像轉換的問題。最常用的方法是基於以下體系結構:
- 產生對抗網路(GAN)
- 變分自編碼器(VAE)
- 擴散模型(DVAE)
- Transformers
Pix2Pix
Pix2Pix是一個基於條件GAN的模型。這意味著它的架構是由Generator網路(G)和Discriminator (D)組成的。這兩個網路都是在對抗性遊戲中訓練的,其中G的目標是產生與資料集相似的新影像,而D必須決定影像是生成的(假)還是來自資料集(真)。
Pix2Pix和其他GAN模型之間的主要區別是:(1)第一個Generator將圖像作為輸入來啟動生成過程,而普通GAN使用隨機噪聲;(2)Pix2Pix是一個完全監督模型,這意味著資料集由來自兩個域的成對影像組成。
論文中所描述的體系結構是由一個用於生成器的U-Net和用於Discriminator的Markovian Discriminator或Patch Discriminator定義的:
- ##U-Net:由兩個模組組成(下採樣和上採樣)。使用卷積層將輸入影像簡化為一組較小的影像(稱為特徵映射),然後透過轉置卷積進行上取樣,直到達到原始的輸入維度。下採樣和上採樣之間存在skip connections。
- Patch Discriminator:卷積網絡,它的輸出是一個矩陣,其中每個元素都是圖像的一個部分(patch)的評估結果。它包括生成的圖像和真實圖像之間的L1距離,以確保生成器學會在給定輸入圖像的情況下映射正確的函數。也稱為馬可夫,因為它依賴來自不同patch的像素是獨立的假設。
在論文中,作者探討了多任務通用模型和多個專門模型之間的區別,兩者都經過一百萬次迭代訓練。此模型的體系結構是基於Dhariwal和Nichol 2021的類別條件U-Net模型,使用1024個批次大小的影像進行1M的訓練步驟。將噪音計畫作為超參數進行預處理和調整,使用不同的計畫進行訓練和預測。
Palette結果
Vision Transformers (ViT)
請注意,儘管以下兩個模型並不是專門為圖像轉換設計的,但它們在將諸如transformers等功能強大的模型引入計算機視覺領域方面邁出了明顯的一步。
Vision Transformers(ViT)是Transformers架構的修改(Vaswani等人,2017年),是為影像分類而開發的。此模型將影像作為輸入,並輸出屬於每個已定義類別的機率。
主要問題在於Transformers被設計成以一維序列作為輸入,而不是二維矩陣。為了進行排序,作者建議將影像分割為小塊,將影像視為序列(或NLP中的句子),小塊視為標記(或單字)。
簡單總結一下,我們可以將整個過程分為3個階段:
1)嵌入:將小塊拆分並flatten→應用線性變換→添加類標記(此標記將作為分類時考慮的圖像摘要)→位置嵌入
2)Transformer-Encoder區塊:將嵌入的patches放入一系列變transformer encoder區塊中。注意力機制會學習專注於圖像的哪些部分。
3)分類MLP頭:將類別令牌通過MLP頭,該MLP頭輸出影像屬於每個類別的最終機率。
使用ViT的優點:排列不變。與CNN相比,Transformer不受影像中的平移(元素位置的變化)的影響。
缺點:需要大量標記資料進行訓練(至少14M的圖像)
TransGAN
TransGAN是一個基於transform的GAN模型,設計用於圖像生成,不使用任何卷積層。相反,生成器和鑑別器是由一系列由上採樣和下採樣區塊連接的Transformer組成的。
生成器的正向過程取一個一維數組的隨機雜訊樣本,並將其通過MLP。直觀地說,我們可以把數組想像成一個句子,像素的值想像成單字(請注意,一個由64個元素組成的數組可以重塑為1個通道的8✕8的圖像)接下來,作者應用了一系列Transformer塊,每個塊後面都有一個上採樣層,使數組(圖像)的大小增加一倍。
TransGAN的一個關鍵特徵是Grid-self - attention。當達到高維度影像(即非常長的陣列32✕32 = 1024)時,應用transformer可能導致自註意力機制的爆炸性成本,因為您需要將1024數組的每個像素與所有255個可能的像素進行比較(RGB維度)。因此,網格自註意力不是計算給定標記和所有其他標記之間的對應關係,而是將全維度特徵映射劃分為幾個不重疊的網格,並且在每個局部網格中計算標記交互。
判別器體系結構與前面引用的ViT非常相似。
#不同資料集上的TransGAN結果
以上是五個有前途的AI模型用於圖像翻譯的詳細內容。更多資訊請關注PHP中文網其他相關文章!

介紹 在Andrej Karpathy的病毒推文“英語已成為新的編程語言”之後,這是X上的另一條趨勢推文,說:“未來像選項卡”。

civitai:通過AI驅動的圖像產生釋放您的創造力 想像一下一個平台,您的藝術創意只需單擊幾下即可實現 - 一個空間,您可以在其中微調尖頭AI模型以創建令人驚嘆的個性化圖像。

本指南將引導您了解模型2的內容,其工作原理以及如何利用圖片和視頻中的部分對象。它在破碎的OB中提供了最先進的執行和適應性

本週的AI景觀取得了重大進步,領先的公司揭示了尖端的模型和工具。 關鍵亮點包括AI21實驗室的Jamba 1.5發布,Anthropicai對Claude 3的增強和Bindu Reddy的介紹

介紹 坐在台式機前,遠離您,是您自己的私人助手,她知道您的聲音,回答您的問題,甚至領先於您一步。這是亞歷克薩(Amazon Alexa)的美麗,SM

解鎖大型語言模型(LLMS)的力量:10個免費資源 踏上進入大語模型(LLM)世界的旅程,這是智能聊天機器人和高級數據分析背後的推動力。 該綜合指南揭開了十個FR

介紹 評估機器學習模型不僅是最後一步,而且是成功的基石。想像一下,建立一個高精度使其眼花azz亂的尖端模型,只是發現它在現實下崩潰了

探索圖像到文本模型的力量:Trocr和Zhen乳膠OCR AI的世界充滿了語言模型及其在虛擬協助和內容創建中的應用。 但是,圖像到文本轉換的領域,由光學驅動


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

PhpStorm Mac 版本
最新(2018.2.1 )專業的PHP整合開發工具

MantisBT
Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

WebStorm Mac版
好用的JavaScript開發工具

記事本++7.3.1
好用且免費的程式碼編輯器

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。