首頁  >  文章  >  科技週邊  >  讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立

讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立

WBOY
WBOY原創
2024-06-16 22:52:40430瀏覽
團隊成員都來自史丹佛大學,CTO還是泰勒絲的鐵粉。

AI影片領域卷瘋了。

Luma引發的狂歡還沒結束,AI影片圈又來了個挑戰者-

史丹佛由大學團隊出品的Proteus。

讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立

據介紹,Proteus 是一款低延遲基礎模型,可以產生高度真實且富有表現力的人物。

例如,讓世界名畫中的主角——蒙娜麗莎或帶著珍珠耳環的女孩——肆無忌憚地大笑,面部表情自然流暢: 讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立讓奧黛麗赫本一改往日淑女形象,玩起嘻哈饒舌: 讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立
也讓《哈利波特》中的斯內普教授唱《Despacito》:
讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立
Proteus剛發布,一眾大佬發來「賀信」:

讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立
讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立
讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立

##AI科學家賈揚清稱讚,即時人工智慧頭像品質出奇得好。

英偉達科學家Jim Fan則表示,這項計畫令人印象深刻。

早期投資人Brian Zhan發文稱,現有AI視頻工具,例如Runway和Pika,最大的問題就是會產生幻覺,尤其是在生成含有人類的視頻時。而Apparate Labs透過解決時間連貫性和物件恆定性等問題,使AI視訊生成步入下一個階段。

離譜!魯迅說起了繞口令

Proteus是新一代的基礎模型,用於人類的即時表情生成。
要知道,目前即使是最先進、最強大的生成模型,也無法完全實現人類表情的即時生成。 讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立現有的模型運行速度緩慢,無法提供對生成人物的複雜面部表情和身體動作的直觀控制,而且它們在逼真度和表現力方面仍有所欠缺。
讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立而Proteus採用了最先進的transformer 架構的潛在擴散模型,其創新性的潛在空間設計確保了即時的高效率,並且隨著架構和演算法的持續優化,Proteus能夠實現每秒100幀以上(100+ FPS)的視訊串流。
#########換句話說,只需一張簡單的照片,Proteus不僅能夠模仿人類的笑聲、饒舌、唱歌、眨眼、微笑和對話,還能執行更多生動的表情和動作。 ###############比如說,一向嚴肅的魯迅說起了繞口令:###############或讓居禮夫人清唱《Le Festin》: ############根據Proteus研發團隊介紹,他們期望Proteus可以成為一個聲音可控的視覺化身,為人工智慧對話實體提供一個直覺的互動介面,同時能夠與眾多多模態大語言模型無縫兼容,為各種不同的應用場景提供客製化服務。

对此,不少网友脑洞大开——

「只需要用爱因斯坦的数据对大语言模型进行微调,再配上他生动的面部表情,就能让伟大的爱因斯坦化身教学助手,来亲自教授物理课,青少年再也不用愁学不好科学了。」
讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立
还有网友表示,我爱死它了,今年绝对是AI视频之年。
讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立
起底背后团队

这款被大佬力捧、小而美的模型, 背后是个怎样的团队?

据官网介绍,这是由斯坦福大学的Apparate Labs研发出来的。

目前该团队仅6人,从名字和照片来看,有3人为华人。
讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立
首席执行官兼联合创始人沈博魁(William Shen)博士就读于斯坦福大学计算机科学系,由知名教授Silvio Savarese和Leonidas J. Guibas共同指导。

讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立

他的研究涵盖人工智能多个领域,包括计算机视觉、机器人学、图形学、生成模型和具身智能。其论文多次获奖,例如在IEEE-CVPR获得了最佳论文奖,还在RSS上入围了最佳学生论文奖的决赛。

此前,他还以GPA4.0的优异成绩获得斯坦福大学计算机科学学士学位。

首席技术官兼联合创始人Connor Lin也是个学霸。

他本硕就读于卡内基·梅隆大学,师从Keenan Crane教授。2020年前往斯坦福大学攻读计算机博士。目前他是一名四年级在读博士生,由Leonidas Guibas和Gordon Wetzstein两位教授共同指导。
讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立
Connor Lin的研究聚焦于3D先验知识和神经表示,用于3D重建、生成和编辑,曾获得David Cheriton斯坦福研究生奖学金的支持。

在攻读博士期间,他在谷歌研究、英伟达研究和Adobe研究实习。此前,还在谷歌担任软件工程师,负责Pixel手机的人像模式开发。

此外,这小哥兴趣广泛,喜欢旅行和体育,喜欢烹饪、羽毛球、游泳、桌游和音乐,还是泰勒·斯威夫特的铁杆粉丝

和Connor Lin一样,首席科学家Linqi (Alex) Zhou也是斯坦福大学的一名博士生,由Stefano Ermon教授指导。
讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立
此前,Linqi Zhou在加州大学洛杉矶分校获得了计算机科学和应用数学的学士学位,由Song-Chun Zhu教授和Ying-Nian Wu教授指导。

他主要在计算机视觉和机器学习领域进行研究,并致力于构建能够以结构化和概率性方式理解世界的模型。

参考链接:
https://apparate.ai/stream.html

以上是讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn