首頁 >科技週邊 >人工智慧 >Morph Studio: 免費、1080P、7秒長的強大黑馬影片編輯軟體來襲

Morph Studio: 免費、1080P、7秒長的強大黑馬影片編輯軟體來襲

PHPz
PHPz轉載
2024-01-09 12:10:181668瀏覽

「發光的水母從海洋中慢慢升起,」在 Morph Studio 中繼續輸入想看到的景象,「在夜空中變成閃閃發光的星座」。  

幾分鐘後,Morph Studio 產生一個短視訊。一隻水母通體透明,閃閃發光,一邊旋轉著一邊上升,搖曳的身姿與夜空繁星相映成趣。

Luminous jellyfish rise from an enchanting sea, morphing into glittering stars in the dark sky.

#輸入“ joker cinematic ”,曾經席捲全球的那張臉又回來了。

Joaquin Phoenix delivers a hyper-realistic performance as the Joker in the cinematic shot set in the neon-lit streets of New York. Smoke billows around him, adding to the atmosphere of chaos and darkness.

最近,新創公司Morph Studio對其text-to-video生成技術和社群進行了重要更新。他們的模型進行了一次重要更新,這些作品展示了更新的模型效果,畫面清晰、細節生動。

Morph Studio 是全球首個公開推出可供大眾隨意測試 text-to-video 產品的團隊,比 Runway 公開 Gen2 公測的時間更早。

相較於其他炙手可熱的text-to-video產品,Morph Studio在免費服務方面有所不同。它從一開始就提供預設的1080P解析度以及最長7秒的生成時間。對於text-to-video產品來說,解析度更高、生成時長更長、意圖表達更好是三個關鍵指標。 Morph在這三個指標上都達到了該行業的最新水平。

好萊塢電影單鏡頭平均長度有 6 秒,將生成時間拉到 7 秒可以解鎖更多用戶的創作需求。 

體驗 Morph Studio 的模型很簡單,註冊 discord 即可免費使用。

文生视频“黑马”Morph Studio来袭:好用、1080P 、7秒时长还免费

畫面紅色方框部分中「pro」字樣的模型就是更新後的模型,也是本文體驗的物件。 

攝影機運動是影片製作的基礎語言,也是強大的敘事手段。 Morph 提供幾種常規的攝影機語言,包括變焦、平移(上、下、左、右)、旋轉(順時針或逆時針)和靜態鏡頭。  

Morph 也提供控制視訊運動的 MOTION 功能(1-10)。數值越大動作越劇烈、誇張,設定的數值越小,動作越微妙、越平滑。 

幀率(FPS)提供從8 -30 的調整幅度,數值越高,影片越流暢,尺寸也越大。例如,-FPS 30 將產生最流暢但也是最大的影片。預設情況下,所有影片均以每秒 24 幀的速度建立。  

視訊長度預設為 3 秒,產生 7 秒視頻,可在指令中輸入 -s 7。另外,模型還提供 5 種影片比例供選擇。 

如果你對鏡頭、影格率和影片長度等細節有要求,請在輸入內容性提示後繼續輸入對應參數。 (目前僅支援英文輸入。)  

我們體驗了一個更新後的模型服務,強烈感受到 1080P 帶來的視覺震撼。

直到最近,人類才有了第一張雪豹在星空下漫步的照片:  

文生视频“黑马”Morph Studio来袭:好用、1080P 、7秒时长还免费

人類拍攝到的第一張雪豹在星空下漫步的照片 。

我們想知道,Morph Studio 的模型能不能產生這種比較罕見的動物影片呢?

同樣的 prompt ,我們將 Morph Studio 的作品放在了影片上部分,並將用 Pika 產生的作品放在影片下方部分。

a snow leopard walking under a starry night,cinematic realistic, super detail,-motion 10,-ar 16:9,-zoom in,-pan up,-fps 30,- s 7. negative: Extra limbs,Missing arms and legs,fused fingers and legs,extra fingers,disfigure

Morph Studio 的答案卷,文字理解準確。 1080P 畫面中,雪豹毛髮細節豐富,栩栩如生。背景中可以看到銀河和星星。不過雪豹走動幅度不明顯。  

Pika 的作業中,雪豹確實在步行,但夜空似乎被理解成飄著鵝毛大雪的夜。無論是雪豹風格還是細節,還有畫面清晰度都還有差距。

再看看人物生成的效果。

masterpiece best quality ultra detailed RAW video 1girl solo dancing digital painting beautiful cyborg girl age 21 long wavy red hair blue eyes delicate paleite ssing perfect bodyee of perfect body slight perfect bodys perfect body bodys perfect body slight perfectee bodys perfect body slight perfect body slight perfectee bodys perfect body slight perfectee bodys perfect body slight perfectee bodys perfect body slight perfect body slight perfectee bodys perfect body slight perfect body slight perfectee bodys perfect body slight perfect body slight perfectee body perfect body body perfect body body perfect 及post-apocalyp

Morph Studio 生成的作品中,高解析度帶來極為細膩的臉部輪廓和微表情,黎明光照下,髮絲細節清晰可見。

受制於解析度和色彩、光線層次的缺乏,Pika 產生的畫面整體偏青,人物臉部細節也不太盡如人意。

人物、動物都感受過了,再來看看建築(人造物)的生成效果。

La torre eifel starry night van gogh epic stylish fine art complex deep colours flowing fky moving clouds

和Pika 作品更偏繪畫質感的畫面相比,Morph Studio 的作品比較好地平衡了梵谷元素和現實元素,光線層次非常豐富,特別是雲海的流動細節,Pika 作品裡的天空幾乎是靜止的。

最後,體驗自然風景創作。

One early morning the sun slowly rose from the sea level and the waves gently touched the beach.

你可能會懷疑 Morph Studio 的作品是人類攝影師在自然條件下的真實拍攝。

Pika 產生的影片因為缺乏細膩的光影層次,海浪、沙灘顯得平板一塊,海浪拍打沙灘的動作比較呆板。

除了高解析度帶來的震撼體驗,同樣的prompt 生成影片(例如動物、建築、人物和自然風景主題),對手多少會在某些生成任務中「失手”,Morph Studio 的表現相對更穩定一些,corner case 相對少一些,能更準確預測用戶意圖。 

從一開始,這家新創公司對文生影片的理解就是,影片要能非常精準地描述使用者輸入,所有最佳化工作也是朝著這個方向在走。 Morph Studio 的模型結構對文字意圖理解比較深刻,這次更新做了一些結構上的改變,也特地對一些資料做了更詳盡的標註。 

除了比較好的文字理解能力,畫面的細節處理並未被高解析度輸出難倒。 事實上,模型更新後,畫面動作內容更豐富,這也反應在我們用 Morph Studio 產生的作品中。

「帶著珍珠耳環的女孩」頭部動作時,耳環也在微微晃動;涉及騎馬之類比較複雜動作的畫面也更流暢連貫和有邏輯,手部動作的輸出也不錯。

1080P 表示模型要處理更多的像素,為細節生成帶來更大的挑戰,但從結果看,畫面不但沒有拉垮掉,反而因為豐富的層次細節而更有表現力。

這是我們用模型產生的一組自然景觀,既有壯觀的巨浪和火山爆發,也有花朵的細膩特寫。

高解析度輸出為使用者帶來更好的視覺享受,但也拉長了模型輸出的時間,影響到體驗。  

Morph Studio 現在生成速度為 3 分半生成 1080p 視頻,和 Pika 生成 720P 的視頻速度一樣。 新創公司算力資源有限,Morph Studio 一直維持 SOTA,實屬不易。 

另外,在影片風格上,除了電影寫實,Morph Studio 模型也支援漫畫、3D 動畫等常見風格。


Morph Studio  專注的 text-to-video 技術,被視為 AI 產業競賽的下一個階段。 

#

「即時影片可能代表 AI 技術的下一次飛躍,」紐約時報在一篇科技報道的標題中稱,並認為它將與網頁瀏覽器、iPhone 一樣重要。

2022 年9 月,Meta 的機器學習工程師團隊推出了一個名為Make-A-Video 的新系統,用戶輸入對場景的粗略描述,系統就會生成一個對應的短視頻。  

2022 年 11 月,清華大學和北京人工智慧研究院( BAAI )的研究人員也發布了 CogVideo。  

當時,這些模型產生的視頻,除了模糊(例如 CogVideo 生成的視頻分辨率只有 480 x 480 ),畫面也比較失真,還存在許多技術限制。但它們仍然代表了 AI 內容生成領域的重大發展。 

表面上看,影片只是一連串的畫面(靜止的影像)以一種給人運動錯覺的方式組合在一起。然而,保證一系列影像在時間、空間上的一致性,難度也大得多。  

擴散模式的出現加速了科技的演化。研究人員嘗試將擴散模型推廣到其他領域(如音訊、3D 和視訊),視訊合成技術取得顯著進步。  

基於擴散模型的技術主要是讓神經網路透過梳理數海量規模的影像、影片和文字說明,自動學習一些模式。當你輸入內容需求時,這個神經網路會產生一個列表,囊括所有它認為創建圖像可能使用的特徵(例如貓耳朵的輪廓、手機的邊緣)。  

然後,第二個神經網路(也就是擴散模型)負責建立影像並產生這些特徵所需的像素,並將像素轉換為連貫的影像。  

透過分析數以千計的視頻,AI 可以學習以類似的連貫方式將許多靜止圖像串在一起。關鍵在於訓練一個能真正理解每一幀之間關係和一致性的模型。

「這是我們在過去一百年中建立的最令人印象深刻的技術之一,」 Runway CEO Cristóbal Valenzuela 曾對媒體表示,「你需要讓人們真正使用它。」  

2023 年被一些業內人士視為視訊合成的突破之年。 1 月還不見公開的  text-to-video 模型,一年行將結束之際已經有幾十個類似產品和數百萬用戶。

文生视频“黑马”Morph Studio来袭:好用、1080P 、7秒时长还免费

a16z合夥人Justine Moore在社群平台上分享的文生影片模型的時間軸,我們可以從中看到除了大廠還有很多創業公司,另外,技術迭代的速度非常快。  

目前的 AI 文生視頻,並沒有形成類似 LLM 統一明確的技術範式,關於怎樣生成穩定的視頻,業界還處於探索階段。但研究人員相信,當用越來越多的數據訓練他們的系統時,這些缺陷都能消除。最終,這項技術會使創建影片像寫句子一樣簡單。

國內一位資深的AI 產業投資人告訴我們,文生視訊技術的幾篇最重要的論文都是2022 年7-8 月出來的,類比文生圖的產業化進程,這項技術接近產業化的節點會出現在一年後,也就是2023 年7-8 月。

整個視訊技術的發展特別快,技術越來越成熟,這位投資人士說,根據先前在GAN 領域的投資經驗,他們預測未來半年到1 年會是text-to-video 技術的產品化時期。

Morph 團隊匯集了影片產生領域最優秀的年輕研究者們,經過過去一年日以繼夜地密集研發,創辦人徐懷哲與共同創辦人李峰、殷子欣、趙世豪、劉少騰等核心技術骨幹一起,攻克了AI 影片生成難題。

除了技術團隊外,Morph Studio 最近也加強了其產品團隊的實力,貓眼電影簽約製作人、上海國際電影節評委,前矽谷頭部AIGC 公司核心成員海辛也於近期加入Morph Studio。

海辛表示,Morph Studio 在技術研究上在整個行業中都佔據著領先的位置;團隊扁平、溝通效率和執行力都特別高;每位成員都對行業充滿熱情。她最大的夢想曾是加入動畫公司。 AI 時代來臨後,她很快意識到,未來的動畫產業將會發生變革,過去數十年動畫底座是 3D 引擎,很快就會迎來全新的 AI 引擎時代。未來的皮克斯將在一家 AI 公司中誕生。而 Morph 就是她的選擇。 

創辦人徐懷哲表示,Morph 正在積極佈局 AI 影片賽道,我們立志於做 AI 影片時代的 Super App,為用戶實現夢境。

2024 年,這個賽道會迎來自己的 Midjourney 時刻,他補充說。

PS: 體會原汁原味的免費1080P影片產生樂趣,請移步至:

https://discord.com/ invite/VVqS8QnBkA 

#

以上是Morph Studio: 免費、1080P、7秒長的強大黑馬影片編輯軟體來襲的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:51cto.com。如有侵權,請聯絡admin@php.cn刪除