團隊成員都來自史丹佛大學,CTO還是泰勒絲的鐵粉。
Luma引發的狂歡還沒結束,AI影片圈又來了個挑戰者-
據介紹,Proteus 是一款低延遲基礎模型,可以產生高度真實且富有表現力的人物。 例如,讓世界名畫中的主角——蒙娜麗莎或帶著珍珠耳環的女孩——肆無忌憚地大笑,面部表情自然流暢: 讓奧黛麗赫本一改往日淑女形象,玩起嘻哈饒舌: 也讓《哈利波特》中的斯內普教授唱《Despacito》:
##AI科學家賈揚清稱讚,即時人工智慧頭像品質出奇得好。
英偉達科學家Jim Fan則表示,這項計畫令人印象深刻。
早期投資人Brian Zhan發文稱,現有AI視頻工具,例如Runway和Pika,最大的問題就是會產生幻覺,尤其是在生成含有人類的視頻時。而Apparate Labs透過解決時間連貫性和物件恆定性等問題,使AI視訊生成步入下一個階段。
Proteus是新一代的基礎模型,用於人類的即時表情生成。 而Proteus採用了最先進的transformer 架構的潛在擴散模型,其創新性的潛在空間設計確保了即時的高效率,並且隨著架構和演算法的持續優化,Proteus能夠實現每秒100幀以上(100+ FPS)的視訊串流。 #########換句話說,只需一張簡單的照片,Proteus不僅能夠模仿人類的笑聲、饒舌、唱歌、眨眼、微笑和對話,還能執行更多生動的表情和動作。 ###############比如說,一向嚴肅的魯迅說起了繞口令:###############或讓居禮夫人清唱《Le Festin》: ############根據Proteus研發團隊介紹,他們期望Proteus可以成為一個聲音可控的視覺化身,為人工智慧對話實體提供一個直覺的互動介面,同時能夠與眾多多模態大語言模型無縫兼容,為各種不同的應用場景提供客製化服務。「只需要用爱因斯坦的数据对大语言模型进行微调,再配上他生动的面部表情,就能让伟大的爱因斯坦化身教学助手,来亲自教授物理课,青少年再也不用愁学不好科学了。」还有网友表示,我爱死它了,今年绝对是AI视频之年。这款被大佬力捧、小而美的模型, 背后是个怎样的团队?据官网介绍,这是由斯坦福大学的Apparate Labs研发出来的。目前该团队仅6人,从名字和照片来看,有3人为华人。首席执行官兼联合创始人沈博魁(William Shen)博士就读于斯坦福大学计算机科学系,由知名教授Silvio Savarese和Leonidas J. Guibas共同指导。
他的研究涵盖人工智能多个领域,包括计算机视觉、机器人学、图形学、生成模型和具身智能。其论文多次获奖,例如在IEEE-CVPR获得了最佳论文奖,还在RSS上入围了最佳学生论文奖的决赛。此前,他还以GPA4.0的优异成绩获得斯坦福大学计算机科学学士学位。首席技术官兼联合创始人Connor Lin也是个学霸。他本硕就读于卡内基·梅隆大学,师从Keenan Crane教授。2020年前往斯坦福大学攻读计算机博士。目前他是一名四年级在读博士生,由Leonidas Guibas和Gordon Wetzstein两位教授共同指导。Connor Lin的研究聚焦于3D先验知识和神经表示,用于3D重建、生成和编辑,曾获得David Cheriton斯坦福研究生奖学金的支持。在攻读博士期间,他在谷歌研究、英伟达研究和Adobe研究实习。此前,还在谷歌担任软件工程师,负责Pixel手机的人像模式开发。此外,这小哥兴趣广泛,喜欢旅行和体育,喜欢烹饪、羽毛球、游泳、桌游和音乐,还是泰勒·斯威夫特的铁杆粉丝和Connor Lin一样,首席科学家Linqi (Alex) Zhou也是斯坦福大学的一名博士生,由Stefano Ermon教授指导。此前,Linqi Zhou在加州大学洛杉矶分校获得了计算机科学和应用数学的学士学位,由Song-Chun Zhu教授和Ying-Nian Wu教授指导。他主要在计算机视觉和机器学习领域进行研究,并致力于构建能够以结构化和概率性方式理解世界的模型。https://apparate.ai/stream.html以上是讓魯迅說繞口令、赫本玩嘻哈,又一視訊模型火了,史丹佛華人博士創立的詳細內容。更多資訊請關注PHP中文網其他相關文章!