新標題：TextDiffuser：無懼圖像中的文字，提供更高品質的文字渲染

在過去幾年中，Text-to-Image 領域取得了巨大的進展，特別是在人工智慧生成內容（AIGC）的時代。隨著DALL-E模型的興起，學術界湧現出越來越多的Text-to-Image模型，例如Imagen、Stable Diffusion、ControlNet等模型。然而，儘管Text-to-Image領域發展迅速，現有模型在穩定地產生包含文字的圖像方面仍然面臨一些挑戰

嘗試過現有sota 文生圖模型可以發現，模型生成的文字部分基本上是不可讀的，類似於亂碼，這非常影響圖像的整體美觀。

現有的sota文字產生模型產生的文字資訊可讀性較差

經過調查，學術界在這方面的研究較少。事實上，包含文字的圖像在日常生活中十分常見，例如海報、書籍封面和路牌等。如果 AI 能夠有效地產生這類圖像，將有助於輔助設計師的工作，激發設計靈感，並減輕設計負擔。除此之外，使用者可能只希望修改文生圖模型結果的文字部分，保留其他非文字區域的結果。

為了不改變原始意思，需要將內容改寫成中文。不需要出現原句

• #論文網址：https://arxiv.org/abs/2305.10855
• 專案位址：https://jingyechen.github.io/textdiffuser/
• 程式碼位址： https://github.com/microsoft/unilm/tree/master/textdiffuser
• #Demo位址：https://huggingface.co/spaces/microsoft/ TextDiffuser

#TextDiffuser 的三個功能

##本文提出了TextDiffuser 模型，該模型包含兩個階段，第一階段產生Layout，第二階段產生影像。

#需要重新寫的是：TextDiffuser框架圖

模型接受一段文字Prompt ，然後根據Prompt 中的關鍵字確定每個關鍵字的Layout（也就是座標框）。研究者採用了 Layout Transformer，使用編碼器-解碼器的形式自回歸地輸出關鍵字的座標框，並以 Python 的 PILLOW 函式庫渲染出文字。在這個過程中，也可以利用 Pillow 現成的 API 得到每個字元的座標框，相當於得到了字元層級的 Box-level segmentation mask。基於此信息，研究者嘗試微調 Stable Diffusion。

他們考慮了兩種情況，一種是使用者想直接產生整張圖片（稱為 Whole-Image Generation）。另一種情況是 Part-Image Generation，在論文中也稱之為 Text-inpainting，指的是使用者給定一張圖像，需要修改圖裡的某些文字區域。

為了實現上述兩個目標，研究人員重新設計了輸入特徵，將維度從原來的4維度增加到了17維。其中包括4維加雜訊影像特徵、8維字元資訊、1維影像遮罩以及4維未遮罩的影像特徵。如果是整體影像生成，研究人員將遮罩區域設為整個影像；反之，如果是部分影像生成，只需對影像的一部分進行遮罩。擴散模型的訓練過程類似於LDM，對此感興趣的同伴可以參考原文中的方法部分描述

#在推理階段，TextDiffuser具有非常靈活的使用方式，可以分為三種：

• 根據使用者給定的指令產生圖像。而且，如果使用者不大滿意第一步 Layout Generation 產生的佈局，使用者可以更改座標也可以更改文字的內容，這增加了模型的可控性。
• 直接從第二個階段開始。根據模板圖像產生最終結果，其中模板圖像可以是印刷文字圖像，手寫文字圖像，場景文字圖像。研究者專門訓練了一個字元集分割網路用於從模板影像中提取 Layout。
• 同樣也是從第二個階段開始，使用者給定圖像並指定需要修改的區域與文字內容。並且，這個操作可以多次進行，直到使用者對產生的結果感到滿意為止。

所建構的MARIO 資料

為了訓練TextDiffuser，研究人員收集了一千萬張文字影像，如上圖所示，包括三個子集：MARIO-LAION，MARIO-TMDB和MARIO-OpenLibrary

研究者在篩選資料時考慮了若干方面：例如圖像經過OCR 後，只保留文字數量為[1,8] 的圖像。他們篩選了文本數量超過 8 的文本，因為這些文本往往包含大量密集文本，OCR 的結果一般不太準確，例如報紙或複雜的設計圖紙。除此之外，他們設定文字的區域大於 10%，設定這個規則是為了讓文字區域在圖像的比重不要太小。

在 MARIO-10M 資料集進行訓練後，研究人員對 TextDiffuser 進行了定量和定性的比較，與現有方法進行了對比。例如，在整體圖像生成任務中，本文方法生成的圖像具有更清晰可讀的文本，並且文本區域與背景區域的融合更好，如下圖所示

與現有工作比較文字渲染效能

研究人員也進行了一系列質性實驗，結果如表1所示。評估指標包括FID、CLIPScore和OCR。特別是OCR指標，本研究方法相對於對比方法有顯著的提升

重寫後的內容：實驗結果見表1：定性實驗

對於Part-Image Generation 任務，研究者嘗試在給定的圖像上增加或修改字符，實驗結果表明TextDiffuser 生成的結果很自然。

文字修復功能視覺化

總的來說，本文提出的TextDiffuser 模型在文字渲染領域取得了顯著的進展，能夠產生包含易讀文字的高品質影像。未來，研究者將進一步提升 TextDiffuser 的效果。

以上是新標題：TextDiffuser：無懼圖像中的文字，提供更高品質的文字渲染的詳細內容。更多資訊請關注PHP中文網其他相關文章！