Lu Xun이 텅 트위스터를 말하고 Hepburn이 힙합을 연주하게 하세요. 또 다른 비디오 모델은 입소문이 났고 스탠포드 출신의 중국인 의사가 설립했습니다.

팀원은 모두 스탠포드 대학 출신이고 CTO도 Taylor Swift의 열렬한 팬입니다.

AI 영상 분야가 미쳐가고 있습니다.

Luma가 일으키는 카니발은 아직 끝나지 않았습니다. AI 영상계에 또 다른 도전자가 있습니다-

Proteus는 스탠포드 대학 팀이 제작했습니다.

보고에 따르면 Proteus는 매우 사실적이고 표현력이 풍부한 캐릭터를 생성할 수 있는 저지연 기본 모델입니다.

예를 들어, 세계적으로 유명한 그림의 주인공인 모나리자나 진주 귀걸이를 한 소녀가 자연스럽고 부드러운 표정으로 마음껏 웃도록 하세요. 오드리 햅번이 예전의 여성에서 변하도록 하세요. 이미지, 힙합 랩 연주:

또한 "해리포터"의 스네이프 교수가 "Despacito"를 부르도록 하세요:

Proteus가 막 출시되었고 많은 빅맨들이 "축하 편지"를 보냈습니다. ":

AI 과학자 Jia Yangqing은 실시간 인공지능 아바타의 품질이 놀라울 정도로 좋다고 칭찬했습니다.

NVIDIA 과학자 Jim Fan은 이 프로젝트가 인상적이라고 말했습니다.

초기 투자자 Brian Zhan은 Runway 및 Pika와 같은 기존 AI 비디오 도구의 가장 큰 문제점은 특히 인간이 포함된 비디오를 생성할 때 환각을 생성할 수 있다는 것이라고 썼습니다. Apparate Labs는 시간적 일관성 및 객체 불변성과 같은 문제를 해결하여 AI 비디오 생성을 다음 단계로 발전시킵니다.

말도 안돼! Lu Xun이 말한 텅 트위스터

Proteus는 실시간 인간 표현 생성을 위한 차세대 기본 모델입니다.

현재 가장 진보되고 강력한 세대 모델조차도 인간 표현의 실시간 생성을 완전히 실현할 수 없다는 점을 알아야 합니다.

기존 모델은 속도가 느리고 생성된 캐릭터의 복잡한 얼굴 표정과 신체 움직임에 대한 직관적인 제어를 제공하지 못하며 여전히 현실감과 표현력이 부족합니다.

Proteus는 트랜스포머 아키텍처의 가장 진보된 잠재 확산 모델을 사용합니다. 혁신적인 잠재 공간 설계는 아키텍처와 알고리즘의 지속적인 최적화를 통해 초당 100프레임의 비디오 스트리밍을 달성할 수 있습니다. 이상(100FPS 이상).

즉, 프로테우스는 간단한 사진만으로도 인간의 웃음, 랩, 노래, 깜박임, 미소, 대화 등을 흉내낼 수 있을 뿐만 아니라 더욱 생생한 표정과 행동을 할 수 있습니다.

예를 들어 항상 진지한 Lu Xun은 혀 트위스터에 대해 이야기했습니다.

또는 퀴리 부인에게 아카펠라 "Le Festin"을 불러달라고 요청했습니다. 또는 과학자들을 위한 원탁 회의를 열었습니다.

Proteus R&D 팀에 따르면 Proteus가 음성 제어가 가능한 시각적 아바타가 되고, 인공 지능 대화 엔터티에 대한 직관적인 대화형 인터페이스를 제공하며, 다양한 다중 모드 대형 언어 모델과 원활하게 호환될 수 있기를 바랍니다. 다양한 다양한 애플리케이션 시나리오에 대한 맞춤형 서비스를 제공합니다.

이에 대해 많은 네티즌들이 마음을 열었습니다 -

"아인슈타인의 데이터를 사용하여 대규모 언어 모델을 미세 조정하고 그의 생생한 표정과 결합하면 위대한 아인슈타인을 만들 수 있습니다. 이제 청소년들은 과학을 잘 못 배울까 봐 걱정하지 않아도 된다.” 일부 네티즌들은 “너무 좋다. 올해는 확실히 AI의 해다”라고 말했다. 비디오.

치디안 팀

큰 남자들에게 극찬을 받는 이 작고 아름다운 모델 뒤에는 어떤 팀이 있을까요?

공식 웹사이트에 따르면 이것은 스탠포드 대학의 Apparate Labs에서 개발한 것입니다.

현재 팀 구성원은 6명뿐인데 이름과 사진으로 보면 중국인이 3명이에요.

CEO이자 공동 창립자인 William Shen 박사는 Stanford University의 컴퓨터 공학과에서 공부했으며 유명한 교수 Silvio Savarese와 Leonidas J. Guibas의 지도를 받았습니다.

그의 연구는 컴퓨터 비전, 로봇 공학, 그래픽, 생성 모델 및 구현 지능을 포함한 인공 지능의 여러 분야를 다루고 있습니다. 그의 논문은 IEEE-CVPR에서 최우수 논문상을 수상하고 RSS에서 최우수 학생 논문상 최종 후보가 되는 등 많은 상을 받았습니다.

이전에 그는 스탠포드 대학교에서 컴퓨터 과학 학사 학위를 취득했으며 우수한 GPA 4.0을 받았습니다.

최고 기술 책임자(CTO)이자 공동 창업자인 Connor Lin 역시 우수한 학생입니다.

그는 카네기 멜론 대학교에서 학사 및 석사 학위를 취득했으며 Keenan Crane 교수 밑에서 공부했습니다. 2020년에 그는 컴퓨터 공학 박사 학위를 취득하기 위해 스탠포드 대학에 진학할 예정입니다. 그는 현재 Leonidas Guibas 교수와 Gordon Wetzstein 교수가 공동 지도하는 4년차 박사 과정 학생입니다.

Connor Lin의 연구는 3D 재구성, 생성 및 편집을 위한 3D 사전 지식과 신경 표현에 중점을 두고 있습니다. 그는 David Cheriton Stanford 대학원 장학금의 지원을 받았습니다.

박사 과정 동안 그는 Google Research, NVIDIA Research 및 Adobe Research에서 인턴으로 일했습니다. 이전에는 Google에서 소프트웨어 엔지니어로 근무하면서 Pixel 휴대폰의 인물 사진 모드 개발을 담당했습니다.

이 남자는 여행, 스포츠, 요리, 배드민턴, 수영, 보드 게임, 음악을 좋아하는 등 다양한 관심사를 가지고 있습니다. 또한 Taylor Swift의 열렬한 팬입니다

좋아요. Connor Lin, 수석 과학자 Linqi (Alex) Zhou는 Stefano Ermon 교수의 지도를 받는 스탠포드 대학의 박사 과정 학생이기도 합니다.

Linqi Zhou는 이전에 Zhu Song-Chun 교수와 Ying-Nian Wu 교수의 지도 하에 UCLA에서 컴퓨터 과학 및 응용 수학 학사 학위를 받았습니다.

주로 컴퓨터 비전과 머신러닝 분야의 연구를 진행하고 있으며, 구조적이고 확률적인 방식으로 세상을 이해할 수 있는 모델을 구축하는 데 전념하고 있습니다.

참조 링크:

https://apparate.ai/stream.html

위 내용은 Lu Xun이 텅 트위스터를 말하고 Hepburn이 힙합을 연주하게 하세요. 또 다른 비디오 모델은 입소문이 났고 스탠포드 출신의 중국인 의사가 설립했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!