首頁  >  文章  >  科技週邊  >  虛擬實境的新血液,AI 賦能下的 3D 建模產業

虛擬實境的新血液,AI 賦能下的 3D 建模產業

WBOY
WBOY轉載
2023-05-26 23:45:581222瀏覽

生成式 AI 的上限在哪裡?這個問題的答案或許在短時間內都不會有答案,至少現在生成式 AI 似乎又征服了一個新的領域。在此之前,生成式 AI 的工作範湊主要集中在文字處理、繪畫、聲音處理等方面,但生成式 AI 的能力顯然遠不止於此。

近日,開源生成式AI 公司Stability AI 正式發布了Stable Animation SDK,以及備受關注的Stable Diffusion 模型(以下簡稱Stable)也正式公佈新版本,現在用戶可以更好的控制AI 生成的3D 模型,並且對特定參數進行修改。

或許很多人看到這個消息的想法是:"3D 模型?是指方塊、長條之類的東西?",畢竟在多數人看來,真正的3D 建模複雜性恐怕是普通AI 難以處理的。不過,生成式 AI 的魅力就在這裡,透過對資料的處理與分析,配合對自然語言的理解,如今的 AI 可以根據描述產生更複雜、更完善的模型,並不僅限於簡單的方塊模型。

不只是 2D 變 3D

在此之前,Stable 就因為可以將2D 畫面、描述直接轉換成3D 模型而引起了許多關注,Stable 生成的3D 模型在精細度上雖然比不上專業人員花長時間搭建的模型,但是考慮到生成所需的時間,也足以帶給大家不小的震撼。

而在Stability AI 公佈的最新演示影片中,Stable 的3D 模型已經不僅限於靜物,即使是一直在運動的人物形象,也可以輕鬆轉變為3D 模型,並且運動的幅度、姿勢都與原版十分接近。類似的技術在動畫製作中其實常被用到,有些動畫為了讓畫面、物體顯得更有立體感時,就會透過 2D 轉 3D 的方式來製作這段畫面,凸顯畫面的張力

虚拟现实的新血液,AI 赋能下的 3D 建模行业

圖片來源:Stability AI

而在傳統的動畫產業裡,想要將2D 畫面轉為3D,需要不少工作人員忙碌一段時間,而在Stable 的幫助下,只需要將2D 畫面輸入模型中,即可獲得高質量的起始3D 模型,大幅降低建模所需的時間與成本。

當然,如果只是這樣,或許也就從業者會高興,對於廣大網友來說,Stable 又有什麼用呢?關鍵就在於Stable 的3D 模型生成並不需要精細的引導,即使只是簡筆畫,Stable 也可以生成出大差不差的3D 模型,比如這幅如圖幼兒園小孩般的塗鴉,經過Stable 的" 潤色" 後就變成了一個還算能看的3D 畫面。

圖源:YouTube

Stable 渴望和追求的目標是讓你所有的繪畫作品和文字都能夠栩栩如生地呈現出來。所以,Stability AI 的所有成果都是直接公開,以開源的方式提供給網友使用,對於廣大二次元愛好者來說,或許這是讓他們的 " 紙片老婆 " 們動起來的最簡單方法。

而且從Stable 的3D 動態模型生成能力中,我們也可以看到一些未來的應用場景,例如更低廉、便利的動作捕捉系統,理論上只要算力足夠,就可以透過相機捕捉的畫面實時產生對應的3D 模型動作。

除此之外還有什麼妙用呢?我不知道大家是否有看過近日的一個熱聞,海外網紅Caryn Marjorie 透過與AI 團隊合作,用GPT-4 複製了一個數位版的自己,然後將數位版的使用權以每分鐘一美元的價格出售給自己的粉絲。

在短短的一周裡,Caryn Marjorie 就以此獲得了 7.1 萬美元的收入,而她提供的只是語音對話閒聊服務。身為視覺生物,我們對於聲音的敏感度其實要低於畫面,如果 Stable 也被應用在相關領域,是否可能打造出真正意義上的 AI 女友呢?可動、可聊,足以撫慰你空虛的內心。

咳咳,好吧,這個話題先打住,至少在目前的模型效率和算力規模下,個人想要實現實時且高規格的3D 動態模型生成,恐怕還十分困難,但是考慮到半導體行業的進步速度,或許這一天離我們不遠。

全新的生產力工具

Stable 先前最大的問題在於只能根據描述或圖像來產生3D 模型,如果生成的效果不好,只能重新調整圖像或文字資訊來重新生成,根據顯示卡的性能不同,3D 模型的生成時間也會有所區別,相較於ChatGPT 等傳統問答式AI,Stable 的時間成本高很多。

所以,雖然 Stable 的 3D 模型生成效果遠優於以往的類似應用,使用場景卻十分受限,僅僅是能夠給社區愛好者提供一個簡單便利的 3D 模型生成工具。一直以來,社群使用者都希望 Stability AI 就可以為 Stabel 增加參數調整功能,這樣就可以對不滿意的模型細節進行修改。

Stability AI 給的回應是Stable Animation SDK,該介面可以被載入到Stabel 的模型中,使用者在使用Stabel 產生3D 模型後,可以透過介面直接輸入對應的參數,調整或增加模型的細節,讓模型更符合使用者的要求。

虚拟现实的新血液,AI 赋能下的 3D 建模行业

從介面的描述檔來看,支援修改的參數非常多,從基礎的顏色、形狀、大小、紋理到動作姿勢等都可以進行調節,而且調節過程並不需要輸入專業資料或名詞,只需要如圖產生3D 模型時一樣輸入文字資訊即可。

例如你產生了一隻小狗的3D 模型,然後覺得小狗身上的花紋不太滿意,只需要從介面輸入你想要的花紋描述,Stabel 就會根據描述對模型進行修改並重新渲染相關圖層。

除此之外,Stable Animation SDK 還支援動作指令的輸入,可以讓靜態的3D 模型直接執行你的動作指令,例如你渲染了一隻飛龍,然後輸入指令" 讓龍飛起來噴火" ,Stable 就會開始對3D 模型進行動作渲染。

而且 Stable 還提供攝影功能,使用者可以調整拍攝機位、照明效果、背景等一系列的參數,對 3D 模型進行靜態和動態的錄影。是的,大家估計都猜到了,3D 建模、3D 動畫等與 3D 建模有關的行業,都將會感受到來自 AI 的 " 溫暖 "。

部分網友認為,結合Stable平台和虛擬實境設備,有可能為虛擬實境設備的生產力帶來飛躍式提升。大家應該都看過漫威電影《鋼鐵人》,電影主角史塔克就擁有一個高級人工智慧程式 " 賈維斯 ",在史塔克製造鋼鐵人鎧甲時給予了許多幫助。

其中一個片段就是史塔克透過對話直接產生了一個零件的 3D 模型,然後對其進行調整併應用到鎧甲上,這套流程聽起來是不是有點耳熟?沒錯,某種意義上這就是 Stable ChatGPT 的未來版本,透過對話直接創造出 3D 模型,讓設計師可以在虛擬實境裝置中直接檢視物品的外觀、使用效果等。

將這個過程放到現實生活照,就等於將產品設計中最耗時的打樣、調整流程簡化,實質的提升產品從設計到落地的整個流程效率。此外,設計師可以透過利用虛擬實境設備的功能,提前使用和體驗自己的產品。

當然,現在的產品設計流程中,其實已經廣泛利用類似的3D 模型軟體來渲染場景,但是Stable 的優勢在於生成的速度,本來需要數小時甚至數天進行調整渲染的模型,如今只需要十分之一或更短的時間即可生成,背後所帶來的效率提升不言而喻。

隨著生成式 AI 的遍地開花,可以看到 AI 對我們的社會、生產等方面會造成十分深遠的影響,今天是 3D 模型,明天又會是什麼?我非常期待。

來源:雷科技 Ieitech

以上是虛擬實境的新血液,AI 賦能下的 3D 建模產業的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:sohu.com。如有侵權,請聯絡admin@php.cn刪除