GoogleAI新星轉投Pika：影片生成Lumiere一作，擔任創始科學家

影片產生進展如火如荼，Pika迎來一位大將－

Google研究員Omer Bar-Tal，擔任Pika創始科學家。

一個月前，還在Google以共同一作的身份發布影片生成模型Lumiere，效果十分驚艷。

當時網友表示：Google加入影片生成戰局，又有好戲可看了。

Stability AI CEO、Google前同事等在內一些業內人士送上了祝福。

Lumiere一作，剛畢業

Omer Bar-Tal，2021年本科畢業於特拉維夫大學的數學與電腦系，隨後前往魏茨曼科學研究所攻讀電腦碩士，主要聚焦於影像和視訊合成領域的研究。

其論文成果多次被頂會接收，如Text2LIVE（ECCV 2022 Oral）、MultiDiffusion（ICML 2023）、TokenFlow（ICLR 2024）。

以TokenFlow為例，他們提出了一個框架，基於擴散模型實現文字驅動的影片編輯，支援影片編輯任務無需任何訓練或微調。

這次加盟Pika前，他曾是谷歌研究院以Student Researcher身份待了9個月，最後經過7個月的研究以共同一作身份推出了Lumiere。這時候碩士應該還沒畢業。

Lumiere的創新點在於，提出了時空U-Net（STU-Net）架構：將視訊在空間和時間兩個維度同時進行下取樣和上取樣，在網路的中間層得到視訊的壓縮時空表示。

在學習了3000萬影片之後，Lumiere可支援文生影片、影片編輯修復、圖片轉影片以及影片風格化等多種功能。

當時Jeff Dean盛讚：多模態影片生成革命正在發生。

威爾史密斯吃麵（Pika版）

官宣加盟Pika消息之後，官方以及投資人等也送上了祝福。

前幾天，還有位Pika華人研究員Yilun Du發布了篇文章， 不過應該剛從MIT博士畢業（也可能還沒畢業），論文單位仍是MIT。

另外在官網還在繼續招募中。

以上是GoogleAI新星轉投Pika：影片生成Lumiere一作，擔任創始科學家的詳細內容。更多資訊請關注PHP中文網其他相關文章！