超懂中國傳統文化的AI繪畫模型，畫作有形更有神，傳達儒釋道思想

最近 AI 作畫火爆出圈，國內外掀起了一波 AI 繪畫熱潮，各種社交媒體上用 AI 繪畫模型生成的各種圖片屢見不鮮。上個月，一位遊戲設計師用 AI 作畫工具 Midjourney（中途）創作的作品《太空歌劇院》獲得了美國科羅拉多州博覽會藝術比賽的金牌。

受此啟發，中國人民大學盧志武教授團隊將自身研發的多模態預訓練模式文瀾與最新的影像生成技術進行創新結合，打造了一款最懂中國傳統文化的AI 繪畫生成模式。

文瀾模型是中國人民大學高瓴人工智慧學院執行院長文繼榮教授、盧志武教授、宋睿華長聘副教授等領銜研發的​​大規模中文多模態預訓練模型。文瀾模型經過 6.5 億弱相關中文圖文對的預訓練，學習到獨特的中文語義理解能力並能很好地將中文語義與視覺訊息連結起來，尤其擅長讀取中文獨有的含蓄語意與圖片中的抽象概念。

今年 6 月，相關研究成果 「Towards artificial general intelligence via a multimodal foundation model」 已經發表在 Nature Communications（《自然 · 通訊》）上。

論文連結：https://www.nature.com/articles/s41467-022- 30761-2

文瀾與生成模型的結合

該研究團隊透過挖掘文瀾模型的潛力，將其與最新的生成技術進行創新性的結合，融合文瀾的抽象語意理解能力與生成模型的強大生成能力，確保得到的模型能夠出色地解讀輸入文字的語意並產生具有對應語意的圖片。

團隊專注於挖掘文瀾在中國傳統文化上的潛力，借用最新的生成模型架構，並在所蒐集的國畫資料集上進行訓練，得到的模型能根據輸入文字產生對應風格的圖片。詳細架構圖如下圖所示。

具體來說，團隊在國畫資料集上訓練了一個無條件生成模型，並透過迭代生成的方式用文瀾模型對生成過程進行引導。

此方法首先隨機初始化一張雜訊圖片。在每一步生成中，模型都會將產生的圖片沿著與輸入文字接近的方向調整生成圖片的內容，使得每一步產生的圖片內容與輸入文字在文瀾模型的隱空間中趨於一致。此步驟可描述為：

其中x 和y 分別表示圖片和文本，IE 和TE 分別表示文瀾的圖片編碼器和文本編碼器。透過不斷迭代，該模型能夠實現根據文字語義生成高品質符圖片的功能。

文瀾繪畫模型的評測結果

由於文瀾模型本身的特點，文瀾繪畫模型能夠根據輸入的中國古詩詞產生對應的圖片。從下述的例子可以看出，模型產生的圖片與古詩詞的內容與意境都非常契合。

同時，團隊也發現文瀾繪畫模型甚至對晦澀難懂的儒釋道思想也有獨到的解讀。

為了更好地展現文瀾繪畫模型在解讀儒釋道思想上的特色，團隊挑選了國內外最熱門的AI 繪畫模型進行對比分析，包含盜夢師、文心、Disco Diffusion 、Midjourney 和Stable Diffusion。其中對 Disco Diffusion、Midjourney 和 Stable Diffusion 而言，中文文字需要先經過百度翻譯。

從下圖產生的結果來看，盜夢師、Disco Diffusion、Midjourney 和Stable Diffusion 偏向於生成句子中的一些具象物體或產生一些畫面較好但內容與句子並無太大關係的圖片。文心則是傾向於生成帶有人物的圖片，甚至將光明直接對應成點燃的蠟燭。

而文瀾繪畫模型能夠更好地讀取整句話的意思以及其中蘊含的儒家思想，從而產生更契合該思想的圖片。

其次對於含有釋家思想的文本輸入#，目前最火的繪畫生成模型都只能抓住其中的一些具象物體並進行針對性生成，有的繪畫模型甚至有可能誤解其中的想法。

如下圖生成結果所示，文心將「見道忘山者人間亦寂也，見山忘道者山中也喧也」 理解成道家的思想（生成了一個道士的形象）。文瀾繪畫模型則很好地解讀輸入文本的釋家思想並將之反映在生成的圖片中。

最後在道家思想方面，團隊挑選了道德經中最核心的三句話。文心相對於盜夢師、Disco Diffusion、Midjourney 和 Stable Diffusion，對道德經有較好的解讀能力。

但整體來說，文瀾繪畫模型對道家思想解讀得更加到位，生成的圖片更具有道家的意境。

總結

文瀾團隊將近期大火的AI 繪畫生成技術與中文多模態預訓練模型文瀾相結合，深度挖掘文瀾模型在中國傳統文化上的潛力，並透過生成模型以圖片的形式展現出來，從而讓普通大眾對一些深奧的中國傳統文化思想有了更直觀的了解。

以上是超懂中國傳統文化的AI繪畫模型，畫作有形更有神，傳達儒釋道思想的詳細內容。更多資訊請關注PHP中文網其他相關文章！