首頁  >  文章  >  科技週邊  >  效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

PHPz
PHPz轉載
2024-02-19 09:30:091033瀏覽

剛剛,奧特曼發布OpenAI首個影片生成模型Sora#。

完美繼承DALL·E 3的畫質和遵循指令能力,能產生長達1分鐘的高清影片。

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

AI想像中的龍年春節,紅旗招展人山人海。

許多孩子好奇地觀望舞龍隊伍,也有人拿出手機記錄,人們各有不同的行為舉止。

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

雨後東京街頭,潮濕地面反射霓虹燈光影效果堪比RTX ON。

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

行駛中的列車窗外偶遇遮擋,車內人物倒影短暫出現非常驚艷。

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

也可以來一段好萊塢大片質感的電影預告片:

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

垂直螢幕超近景視角下,這隻蜥蜴細節拉滿:

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

網友直呼game over,工作要丟了:

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

##甚至有人已經開始「悼念」一整個產業:

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

AI理解運動中的物理世界

OpenAI表示,正在

教AI理解和模擬運動中的物理世界,目標是訓練模型來幫助人們解決需要現實世界交互的問題

根據文本提示生成視頻,僅僅是整個計劃其中的一步。

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

目前Sora已經可以

產生具有多個角色、包含特定運動的複雜場景,不僅能理解使用者在提示中提出的要求,也了解這些物體在物理世界中的存在方式。

Sora還可以在單一影片中創建多個鏡頭,並依靠對語言的深入理解準確地解釋提示詞,保留角色和視覺風格。

美麗、白雪皚皚的東京熙熙攘攘。鏡頭穿過熙熙攘攘的城市街道,跟著幾個人享受美麗的雪天並在附近的攤位購物。絢麗的櫻花花瓣隨著雪花隨風飄揚。

對於Sora目前存在的弱點,OpenAI也不避諱,指出它可能

難以準確模擬複雜場景的物理原理,並且可能無法理解因果關係

例如“五隻灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”,狼的數量會變化,一些憑空出現或消失。

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

該模型也可能

混淆提示的空間細節,例如混淆左右,並且可能#很難精確描述隨著時間推移發生的事件,例如遵循特定的相機軌跡。

如提示詞「籃球穿過籃框然後爆炸」中,籃球沒有正確被籃框阻擋。

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP

技術方面,目前OpenAI透露的不多,簡單介紹如下:

Sora是一種擴散模型,從雜訊開始,能夠一次產生整個影片或擴展影片的長度,

關鍵之處在於 一次產生多幀的預測,確保畫面主體即使暫時離開視野也能保持不變

與GPT模型類似,Sora使用了Transformer架構,具有強烈的擴展性。

在資料方面,OpenAI將影片和影像表示為patch,類似於GPT中的token。

透過這種統一的資料表示方式,可以在比以前更廣泛的視覺資料上訓練模型,涵蓋不同的持續時間、解析度和縱橫比

Sora建立在過去對DALL·E和GPT模型的研究之上。它使用DALL·E 3的重述提示詞技術,為視覺訓練資料產生高度描述性的標註,因此能夠更忠實地遵循使用者的文字指令。

除了能夠僅根據文字指令生成視頻之外,該模型還能夠獲取現有的靜態圖像並從中生成視頻,準確地讓圖像內容動起來並關注小細節。

該模型還可以獲得現有影片並對其進行擴展或填充缺少的幀,請參閱技術論文以了解更多資訊(稍後發布)

Sora 是能夠理解和模擬現實世界的模型的基礎,OpenAI相信這項功能將成為實現AGI的重要里程碑。

奧特曼線上接單

目前已有一些視覺藝術家、設計師和電影製作人(以及OpenAI員工)獲得了Sora訪問權限。

他們開始不斷po出新的作品,奧特曼也開始了線上接單模式。

帶上你的提示字@sama,就有可能收到產生好的影片回覆。

效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP


以上是效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:51cto.com。如有侵權,請聯絡admin@php.cn刪除