達摩院發表一站式AI影片創作平台\'尋光\'，打造全新AI工作流程

今年是 AI 影片生成爆發的元年，以 Sora 為代表的演算法模型和產品應用不斷湧現。短短幾個月內，我們目睹了數十種影片產生工具的問世，基於 AI 的影片創作方式開始流行起來。

但新技術也引發更多的挑戰與質疑，除了大家熟知的 「開盲盒」 現象，AI 所產生的視訊內容也因可控性差、處理工作流繁瑣而頻頻被詬病。

OpenAI 曾經邀請專業影片製作團隊對Sora 進行了測試，其中來自於多倫多的Shy Kids 團隊，利用Sora 製作了一個氣球人主題的短片，把創意和AI 技術進行了完美的結合，讓人印象深刻。

整個短片其實並不是 Sora 直接輸出的結果，而是由多個影片片段組成，而 Sora 在產生不同影片時，很難保證主角的一致性。因此，在引入了大量的人工後期編輯，他們才呈現出最終的短片效果。 Shy Kids 的主創們總結，「Sora 的技術很酷，但是它的生成過程很難控制。」

對生成內容的精準可控，是AI 視頻創作中的重要需求，也是今天算法面臨的一大挑戰。

為此，在剛結束的上海世界人工智慧大會（WAIC）上，達摩院發布了一站式 AI 影片創作平台 「尋光」。

其定位為 PUGC 一站式AI 影片創作平台，可輔助使用者創作劇本、分鏡圖等，並透過工作流程整合提升創作全流程的效率，支援對產生及上傳素材進行豐富的AI編輯，提供人物控制、場景控制、風格遷移、運鏡控制、目標新增/ 消除/ 修改等十多種AI 編輯功能，讓影片中的元素和物件精準可控。

達摩院希望藉由尋光平台進一步提升 AI 影片創作的效率，目標是用 AI 能力重塑傳統影片製作的整個流程，打造 AI 時代的全新影片工作流程。

業界首次落地

基於圖層的影片編輯

媒材

在尋光中心，了解其對於視訊AIGC 創作的需求與痛點。他們發現，影片圖層幾乎是所有影片創作者提到頻率最高、最迫切的需求。

基於此，尋光平台首次在業界推出系統性的影片圖層編輯功能。使用者透過文字輸入，即可產生符合文字描述且具有透明背景的視頻，並且一鍵將其整合到其他背景視頻當中。在傳統影片生成能力的基礎上，用圖層這樣一種更靈活的形式來產生內容。

尋光更提供圖層拆解功能，輕輕一圈，選定目標立刻拆解為單獨的圖層視頻，再絲滑嵌入不同的背景視頻。

用戶可以將不同的前景圖層跟不同的背景進行圖層融合，組合出更多新的影片。圖層融合的能力進一步激發 AI 創作力和想像力，同時能夠保持多個分鏡頭之間的場景和人物的一致性。

在達摩院看來，AI 不會取代創作者的工作，而是會優化影片創作的工作流程，成為創意驅動的新引擎。

一站式AI 創作平台

更簡潔的交互，更豐富的編輯能力

劇本創作、分身創作、創作創作、創作風格創作、分裂風格、週期冗長。在 AI 技術的加持下，原本分散在不同製作流程中的創作步驟，如今都能在尋光平台上流暢完成。

「我們希望讓影片編輯像操作 ppt 一樣簡潔直觀，容易上手。」達摩院視覺技術實驗室高級演算法專家陳威華在現場介紹，尋光平台的一大亮點在互動方面。

尋光平台在設計時充分考慮到AI 視頻創作的特點，將每個視頻項目抽象為多個分鏡頭畫面，用戶可根據劇本自動生成一組分鏡頭，也可以自己上傳原始視頻素材，由演算法切分成多個分鏡頭。

在創作空間裡，使用者可以很方便的查看每一個分鏡頭，一個場景內的多個分鏡頭可以收起或展開，場景之間可以透過拖曳來調整順序，場景內的分鏡頭也可以進行拖曳。使用者也可以在任何位置上進行分鏡頭的新增和新建，可呼叫圖片產生或影片產生能力去產生內容，也可以加入自己已有的各種素材。

對於每個分鏡頭，尋光提供完整且智能的 AI 視頻編輯能力進行處理，可依據用戶意圖，在語義層面而不是像素層面實現編輯。分鏡頭裡的人體、臉部、前景、背景等任一局部目標，都可以進行精細化的編輯與修改。

例如，理解空間景深的運鏡控制；

又比如，能夠理解物體相對關係的目標消除 / 修改。

在對視訊全局元素的編輯上，尋光平台提供了超過 20 種的風格遷移。

尋光也提供幀率控制、影片超分等實用的影片編輯功能。

“我們希望一個影片裡的所有元素都是可編輯、可修改的，這樣可以給用戶的創作提供最大的自由度”，陳威華說。

寫在最後

今天，我們正處在 AIGC 的變革浪潮之中，AI 有可能催生出新的視頻工作流。無論是專業的影視從業者還是熱愛創作的 UGC 用戶，都將從中獲益。

“工欲善其事，必先利其器”，達摩院希望尋光視頻創作平台能夠成為每一位創作者的專屬視頻工作室，實現AI 與創作者之間更緊密、高效率的協作，真正釋放AI 的生產力。

為此，達摩院視覺技術實驗室已做了大量技術儲備。該實驗室致力於多模態視覺訊號的理解與生成技術研究，目前的重點研究方向包括更精準的影像/ 視訊/ 3D 內容生成，更可控的影像/ 視訊/ 3D 內容編輯，更有效率的生成框架，多模態的理解- 生成框架等。

陳威華表示，「尋光」將於近期開放內測，持續迭代，優化交互，歡迎創作者們來定制屬於自己的 AI 工作流程。

^{內測申請地址：}

^{https://xunguang.damo-vision.com/}

以上是達摩院發表一站式AI影片創作平台\'尋光\'，打造全新AI工作流程的詳細內容。更多資訊請關注PHP中文網其他相關文章！