一句話讓圖片動起來，蘋果發力大模型動畫生成，可直接編輯結果

目前，大型模型的驚人創新能力持續影響著創意領域，尤其是像Sora這樣的視訊生成技術代表。雖然Sora已經引領了新世代潮流，但現在或許值得大家注意一下蘋果的最新研究成果。

蘋果的研究者最近發布了一個名為「Keyframer」的框架，它可以利用大型語言模型來產生動畫。這個框架允許使用者透過自然語言提示來輕鬆地為靜態2D圖像創建動畫。這項研究展示了語言模型在設計動畫方面的潛力，為動畫設計師提供了更有效率且直覺的工具。

論文網址：https://arxiv.org/pdf/2402.06071.pdf

具體而言，該研究結合了基於語言提示設計工件的新興設計原則和LLM 的程式碼產生能力，建構了一個新的AI 驅動的動畫工具Keyframer。透過 Keyframer，使用者可以透過自然語言提示，從靜態 2D 圖像創建動畫插圖。透過 GPT-4，Keyframer 可以產生 CSS 動畫程式碼，使輸入的 SVG（Scalable Vector Graphic）動畫化。

除此之外，Keyframer 支援使用者透過多種編輯器類型直接編輯產生的動畫。

使用者可以透過重複的提示和請求，利用LLM產生的設計變體來不斷完善他們的設計，從而在新的設計方向上進行思考。不過，目前Keyframer還沒有對外公開。

之所以做這項研究，蘋果表示LLM 在動畫中的應用尚未得到充分探索，並帶來了新的挑戰，例如用戶如何有效地用自然語言描述運動。現階段雖然文生圖工具如 Dall・E 和 Midjourney 等效果出色，但動畫設計需要考慮更複雜的因素，例如時間以及協調性，這些因素很難在單一提示中全面概括。

使用者只需上傳圖像，並在提示框中輸入類似「讓星星閃爍」的內容，然後點擊生成即可查看這項研究的效果。

使用者可以在一個批次中產生多個動畫設計，並在單獨的視窗中調整顏色代碼和動畫持續時間等屬性。無需任何編碼經驗，因為 Keyframer 會自動將這些變更轉換為 CSS，程式碼本身也是完全可編輯的。這種基於描述的方法比其他形式的人工智慧生成動畫簡單得多，後者通常需要多個不同的應用程式和一些編碼經驗。

Keyframer 介紹

Keyframer 是一個由 LLM 驅動的應用程序，旨在從靜態圖像創建動畫。 Keyframer 可以充分利用 LLM 的程式碼產生能力，以及靜態向量圖（SVG）的語意結構，從而根據使用者提供的自然語言提示產生動畫。

#輸入#：該系統提供了一個輸入區域，用戶可以在其中貼上他們想要動畫化的SVG 圖像程式碼（SVG 是一種標準且流行的圖像格式，在插圖中因其可伸縮性及在多個平台上的兼容性而常用）。在 Keyframer 中，SVG 的渲染顯示在程式碼編輯器旁邊，以便使用者可以預覽圖像的視覺設計，如圖 2 所示，土星插圖的 SVG 程式碼包含瞭如天空、光環等標識符。

GPT 提示：此系統允許使用者輸入自然語言提示以建立動畫。使用者可以請求單一設計（讓行星旋轉）或多個設計變體（創建 3 個星星閃爍的設計），之後點擊「生成動畫」按鈕開始請求。在將使用者請求傳遞給 GPT 之前，該研究會以完整的原始 SVG XML 完善其提示，並指定 LLM 回應的格式。

GPT 輸出：一旦提示請求開始，GPT 就會傳送回應，該回應由一個或多個 CSS 片段組成，如圖 3 所示。

渲染#：渲染部分包括（1）每個動畫進行視覺化渲染以及由LLM產生的1 句解釋（2）一系列用來修改設計的編輯器。

其中程式碼編輯器使用 CodeMirror 實作；屬性編輯器為編輯程式碼提供了特定於屬性的 UI，例如為了編輯顏色，該研究提供了一個顏色選擇器。圖 5 顯示了程式碼編輯器與屬性編輯器圖示。

##：為了支援使用者在動畫建立過程(DG1) 中進行更深入的探索，該研究還提供了一項功能，允許用戶使用提示在生成的動畫上迭代建立。每個產生的設計下方都有一個按鈕「 Add New Prompt 」；點擊此按鈕會在頁面底部開啟一個新表單，供使用者使用新提示擴展其設計。

儲存設計的側邊欄以及摘要。該系統允許使用者對設計加註星標進行收藏並將其添加到側邊欄，如圖 6 右側所示。此外，該系統還有一個摘要模式，其能隱藏所有文字編輯器並顯示動畫及其提示，使用戶能夠快速重新存取先前的提示和設計。

在實驗過程中，蘋果團隊選擇了 13 位參與者（6 位女性，7 位男性）試用 Keyframer。表 1 為參與者的一些資訊及其掌握的技能。

甚至專業動作設計師「EP13」也看到了Keyframer 擴展其能力的潛力：「我有些擔心這些工具會取代我們的工作，因為它的潛力如此之大。但細細想來，這項研究只會提高我們的技能。應該是一件值得高興的事情。」

整體而言，參與者對Keyframer 的使用體驗感到滿意。參與者給予的平均分數為 3.9 ，介於滿意 (4) 和中立 (3) 之間。參與者產生了 223 種設計。平均來看，每位參與者產生 17.2 個設計。圖 8 顯示了兩個參與者的最終動畫範例。

更多技術細節請參閱原始論文。

以上是一句話讓圖片動起來，蘋果發力大模型動畫生成，可直接編輯結果的詳細內容。更多資訊請關注PHP中文網其他相關文章！