這個模型，讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天！

最近，一個叫Xander Steenbrugge的AI研究員兼數位藝術家，上傳了一段非常震撼的影片《跨越時間之旅》。

地球上的生物大演化，從原始海洋起始，到古代蜥蜴、恐龍、哺乳動物，再到猴子、猩猩、猿人、智人…最後出現了科幻中的未來世界。

而Steenbrugge也激動地評論道：我們正在跨越一個門檻，生成式人工智慧不再只是關於新穎的美學，而是演變成了一個驚人的工具，可以構建強大的、以人為中心的敘事。 Steenbrugge表示，這個影片用了36個連續的片語。為了找到可能的最佳順序，他嘗試了超過一千種不同的提示和種子，並在程式碼中應用了許多「提示工程」的技巧，來弄清楚到底哪些是有效的，哪些是無效的。

前特斯拉AI高級總監Andrej Karpathy看完後大受震撼，也忍不住手癢嘗試了一波。

「超現實的蒸氣龐克神經網路機器，呈大腦形狀，放置在一個基座上，上面佈滿了齒輪製成的神經元」，在輸入這段文字後，他的大作也生成了。

2分鐘的影片（在A100上渲染約1小時），是透過在隨機雜訊輸入的模型之間平滑插值產生的。

這個名為Stable Diffusion的模型，採用的是兩個句子的意義之間「插值」的方式。插入的地方是語義的間隔，而不是視覺的空格，因此，它極大地改變了故事敘述的方式。

而這，只是由生成式人工智慧驅動的數位內容創作革命的開始。

‍Stable Diffusion：開源模型的里程碑

從2021年初以來，可以從文字描述生成圖像的人工智慧一直在快速發展。當時，OpenAI用DALL-E 1和CLIP展示了令人印象深刻的結果。

在2022年，OpenAI發布了令人印象深刻的DALL-E 2，Google展示了Imagen和Parti，Midjourney推出了公測版，Craiyon創作的AI圖像也遍布各種社群媒體。

而就現在最近，Stability AI又發布了一個全新的模型－Stable Diffusion。

不過，與DALL-E 2不同的是，Stable Diffusion可以產生OpenAI禁止的各種知名人士。

雖然像是Midjourney、Pixelz.ai等等這些系統也可以做到，但它們生成的質量，還遠遠沒有達到能與Stable Diffusion相媲美的程度，而且還都不是開源的。

現在有邀請我們的老朋友馬斯克，表演一個秒變「黑寡婦」（史嘉蕾喬韓森）。

顯然，身為主要開發者的Stability AI，希望不只一家公司或團隊能夠訓練Stable Diffusion的變體。

例如，你是沒有海量的GPU算力的研究人員。別擔心，Stable Diffusion即將能夠在一塊僅有5.1GB VRAM的顯示卡上運作。

再例如，你是平時使用配備蘋果M1晶片的MacBook的愛好者，Stable Diffusion也可以運作。只不過，這時影像生成的時間就要從幾秒鐘變成幾分鐘了。

如此看來，多模態模型正沿著先前大型語言模型所走的道路前進：遠離單一的供應商，並透過開放原始碼廣泛提供眾多的替代方案。

此外，Runway已經在研究如何基於Stable Diffusion來實現文字到影片的編輯了。

一句話，讓網球場變成沙灘；

#不管電閃雷鳴，還是風和日麗；

不管是在月球，還是火星之上；

都無法阻止我打網球…

用計算來加速基礎AI的開源

在測試階段之後，Stable Diffusion就會免費，程式碼和經過訓練的模型將作為開源發布。還將有一個帶有Web介面的託管版本，供用戶測試系統。

Stable Diffusion 是 Stability AI、RunwayML、LMU Munich、EleutherAI 和 LAION 的研究人員合作的結果。 EleutherAI以其開源語言模型GPT-J-6B 和GPT-NeoX-20B等而聞名。

非營利組織LAION（大規模人工智慧開放網路）為訓練資料提供了開源LAION 5B資料集，該團隊在初始測試階段根據人工回饋對其進行過濾，以建立最終的LAION-Aesthetics訓練資料集。

Runway的Patrick Esser和LMU 慕尼黑的Robin Rombach領導了這個項目，他們在海德堡大學 CompVis小組的研究奠定了這個項目的基礎。在海德堡大學，他們創建了廣泛使用的VQGAN和Latent Diffusion。這兩個模型再加上OpenAI和Google Brain的成果，讓Stable Diffusion得以實現。

Stability AI成立於2020年，背後的出資人是數學家、電腦科學家Emad Mostaque。他曾在各種對沖基金擔任分析師。

憑藉Stability AI和他的私人財富，Mostaque希望能夠培育一個開源AI研究社群。他的新創公司之前就支持創建「LAION 5B」資料集。為了訓練Stable Diffusion的模型，Stability AI為伺服器提供了4,000個Nvidia A100 GPU。

「除了我們的75名員工之外，沒有任何其他人擁有決策權——無論是億萬富翁、大型基金，還是政府，我們是完全獨立的。」 Mostaque說。 「我們計劃使用我們的計算來加速基礎人工智能的開源。」

網友都玩兒瘋了

除了開頭地兩段視頻，也有網友用Stable Diffusion產生一段老化的動畫。

他表示，製作過程中在長提示中改變一個詞，比在短提示中有更微妙的效果。此外，使用描述，如老，中年，幼兒，通常比說明具體的年齡，如10歲，40歲，80歲效果更好。

此外，還有各種夢幻的靜態圖片。

「情人」

「獅子」

#Leyendecker與Maxence筆下的「黑魂」

「賽博京劇」

彩蛋

感受一下特斯拉的前人工智慧和自動駕駛視覺總監Andrej Karpathy被虐的心路歷程。

#

看完大神製作的影片之後，Karpathy非常興奮。

然後一波操作搞出來的成果，放進幼兒園小班都毫無違和感。 絕望的Karpathy直呼想要請一位「提示工程師」替自己創作。最後Karpathy終於悟了，創作出了他非常滿意的新作－蒸氣龐克人工神經網路機器，和藍莓義大利麵。

#

以上是這個模型，讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天！的詳細內容。更多資訊請關注PHP中文網其他相關文章！