찾다
기술 주변기기일체 포함AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다

소라 이후 실제로 새로운 AI 영상 모델이 등장했는데, 정말 놀랍고 모두가 좋아하게 만드는군요!

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다Pictures

이를 통해 "서둘러"의 악당 Gao Qiqiang이 Luo Xiang으로 변신하고 모든 사람(개 머리)을 교육할 수 있습니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다

이것은 Alibaba의 최신 오디오 기반 인물 사진 비디오 생성 프레임워크인 EMO(Emote Portrait Alive)입니다.

단일 참조 이미지와 오디오(말, 노래, 랩)를 입력하여 생생한 표현이 포함된 AI 동영상을 생성할 수 있습니다. 비디오의 최종 길이는 입력 오디오의 길이에 따라 달라집니다.

AI 효과 경험 베테랑 참가자 모나리자에게 독백을 낭송하도록 요청할 수 있습니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다

젊고 잘생긴 디카프리오가 빠른 속도로 진행되는 랩 장기자랑을 선보이며 입 모양을 따라갈 수 없습니다. 질문:

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다

광둥어 립싱크도 할 수 있어서 형 Leslie Cheung에게 Eason Chan의 "Unconditional"을 불러달라고 부탁했습니다. 노래하기(다양한 스타일의 초상화와 노래), 초상화가 말하게 하기(다양한 언어로), 다양한 배우 간 공연을 선보이는 EMO 효과는 우리를 잠시 놀라게 했습니다.

네티즌들은 "우리는 새로운 현실로 진입하고 있다!"라고 외쳤다.AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다

2019년판 '조커'는 2008년판 '다크나이트'의 대사를 그대로 담았다

일부 네티즌들은 심지어 영상을 만들기 시작했다. EMO 탭을 당겨 효과를 프레임별로 분석하세요. AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다아래 영상처럼 주인공은 소라가 생성한 AI 아가씨입니다. 이번에 불러주신 노래는 '지금 시작하지 마세요' 입니다.

트위터 분석:

이 영상의 일관성이 이전보다 훨씬 좋아졌습니다!

1분이 넘는 영상에서 소라씨 얼굴의 선글라스는 거의 움직이지 않고, 귀와 눈썹도 독립적으로 움직입니다.

가장 신나는 점은 소라씨의 목이 정말 숨을 쉬고 있는 것 같다는 것입니다! 노래를 부르면서 몸이 떨리고 살짝 움직여서 깜짝 놀랐어요!



Pictures

그런데 EMO는 핫한 신기술이라 유사제품과의 비교는 불가피합니다 -AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다어제, AI 영상발전회사 피카에서도 영상더빙을 출시했습니다 문자 및 "립싱크"” 립싱크 기능이 충돌했습니다.

구체적인 효과는 어떻습니까? ​​여기에 직접 올려 놓겠습니다.

비교 후 댓글 영역의 네티즌들은 알리에게 맞았다는 결론을 내 렸습니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다

Pictures

EMO는 논문을 공개하고 오픈 소스라고 발표했습니다. AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다하지만! 오픈소스임에도 불구하고 GitHub에는 여전히 숏 포지션이 존재합니다.

하지만 또! 숏포지션임에도 불구하고 별수가 2.1천개를 넘었습니다.

사진

은 네티즌들을 지지왕 못지않게 불안하게 만들었습니다. AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다

소라와는 다른 건축물

EMO 논문이 나오자마자 서클 안의 많은 사람들이 안도의 한숨을 쉬었습니다. AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다

소라를 따라하는 것만이 유일한 방법이 아니라는 것을 보여주는 소라의 기술 루트와 다릅니다.

EMO는 DiT와 같은 아키텍처를 기반으로 하지 않습니다. 즉, 기존 UNet을 대체하기 위해 Transformer를 사용하지 않습니다. 백본 네트워크는 Stable Diffusion 1.5에서 수정되었습니다.

구체적으로 EMO는 입력 비디오의 길이에 따라 길이에 관계없이 비디오를 생성할 수 있는 표현력이 풍부한 오디오 기반 인물 비디오 생성 프레임워크입니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다Pictures

프레임워크는 주로 두 단계로 구성됩니다.

  • 프레임 인코딩 단계

참조 이미지와 비디오 프레임에서 특징을 추출하는 ReferenceNet이라는 UNet 네트워크를 배포합니다.

  • 확산 단계

먼저 사전 훈련된 오디오 인코더가 오디오 임베딩을 처리하고, 얼굴 영역 마스크를 다중 프레임 노이즈와 결합하여 얼굴 이미지 생성을 제어합니다.

그러면 백본 네트워크가 잡음 제거 작업을 주도합니다. 백본 네트워크에는 참조 주의와 오디오 주의라는 두 가지 유형의 주의가 적용되며, 이는 각각 캐릭터의 정체성 일관성을 유지하고 캐릭터의 움직임을 조절하는 역할을 합니다.

또한 시간 모듈은 시간 차원을 조작하고 이동 속도를 조정하는 데 사용됩니다.

교육 데이터 측면에서 팀은 250시간 이상의 비디오와 1,500만 개 이상의 이미지를 포함하는 크고 다양한 오디오 및 비디오 데이터 세트를 구축했습니다.

최종 구현의 구체적인 특징은 다음과 같습니다.

  • 문자 정체성 일관성을 보장하면서 입력 오디오를 기반으로 모든 길이의 비디오를 생성할 수 있습니다(시연에서 제공되는 가장 긴 단일 비디오는 1분 49초입니다).
  • 다양한 언어로 대화 및 노래 지원(데모에는 중국어, 광둥어, 영어, 일본어, 한국어가 포함됨)
  • 다양한 그림 스타일 지원(사진, 전통 회화, 만화, 3D 렌더링, AI 디지털 인물)

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다 사진

정량적 비교도 기존 방식에 비해 크게 개선돼 SOTA를 달성했고, 립싱크 품질을 측정하는 싱크넷 지표와 비교해도 약간 뒤떨어지는 수준이다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다Pictures

확산 모델에 의존하지 않는 다른 방법에 비해 EMO는 시간이 더 많이 걸립니다.

그리고 명시적인 제어 신호가 사용되지 않아 손과 같은 다른 신체 부위가 의도치 않게 생성될 수 있으므로 잠재적인 해결책은 신체 부위에 특별히 제어 신호를 사용하는 것입니다.

EMO 팀

마지막으로 EMO 팀의 구성원들을 살펴보겠습니다.

문서에 따르면 EMO 팀은 Alibaba 지능형 컴퓨팅 연구소 출신입니다.

Linrui Tian, ​​​​Qi Wang, Bang Zhang 및 Liefeng Bo라는 네 명의 작가가 있습니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다Pictures

그중 Liefeng Bo는 현재 Alibaba Tongyi 연구소의 XR 연구소 소장입니다.

Bo Liefeng 박사는 시안 전자 과학 기술 대학교를 졸업하고 시카고 대학교와 워싱턴 대학교에서 박사후 연구를 진행했습니다. 주로 ML, CV 및 로봇공학을 연구하고 있습니다. Google Scholar 인용 횟수는 13,000회를 초과합니다.

Alibaba에 합류하기 전에는 먼저 Amazon 시애틀 본사에서 수석 과학자로 근무한 후 JD Digital Technology Group의 AI 연구소에 수석 과학자로 합류했습니다.

2022년 9월 Bo Liefeng이 Alibaba에 합류했습니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다Pictures

EMO는 Alibaba가 AIGC 분야에서 성공을 거둔 것이 처음이 아닙니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다Pictures

OutfitAI 원클릭 의상 변경이 가능한 누구나 가능합니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다Pictures

또한 Animate누구나 전 세계의 고양이와 개를 목욕춤으로 추게 만듭니다.

아래는 이렇습니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다사진

이제 EMO가 출시되자 많은 네티즌들은 알리바바가 여기에 기술을 축적했다고 한탄하고 있습니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다사진

이 모든 기술이 지금 합쳐지면 효과는...

감히 생각지도 못하지만 기대가 됩니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다Pictures

한마디로 "대본을 AI에 보내고 영화 전체를 출력하는 것"에 가까워지고 있습니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다Pictures

One More Thing

Sora는 텍스트 기반 비디오 합성의 획기적인 발전을 보여줍니다.

EMO는 또한 새로운 수준의 오디오 기반 비디오 합성을 나타냅니다.

두 가지 작업과 특정 아키텍처가 다르지만 중요한 공통점이 한 가지 있습니다.

중간에 명시적인 물리적 모델은 없지만 둘 다 어느 정도 물리적 법칙을 시뮬레이션합니다.

그래서 어떤 사람들은 이것이 "픽셀을 생성하여 행동을 위해 세계를 모델링하는 것은 낭비이고 실패할 수밖에 없다"는 Lecun의 주장에 어긋난다고 생각하며 Jim Fan의 "데이터 기반 세계 모델" 아이디어를 뒷받침합니다.

AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다Pictures

과거에는 다양한 방법이 실패했지만, 현재의 성공은 정말 노력이 기적을 낳는 강화학습의 아버지 서튼의 "Bitter Lessons"에서 나올 수 있습니다.

AI가 사람들이 발견한 것을 담는 것이 아니라 사람처럼 발견할 수 있게 하세요

획기적인 발전은 궁극적으로 컴퓨팅 규모를 확장함으로써 달성됩니다.

Paper: https://www.php.cn/link/ a717f41c203cb970f96f706e4b12617bGitHub :https://www.php.cn/link/e43a09ffc30b44cb1f0db46f87836f40

참조 링크:
[1]https://www.php.cn/link /0dd4f2526c7c874d06f19523264f6552

위 내용은 AI 영상 또 폭발! 사진+목소리가 영상으로 바뀐 알리바바는 히로인 소라에게 리지지와 함께 노래와 랩을 부탁했다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
Huggingface Smollm으로 개인 AI 조수를 만드는 방법Huggingface Smollm으로 개인 AI 조수를 만드는 방법Apr 18, 2025 am 11:52 AM

ON-DEVICE AI의 힘을 활용 : 개인 챗봇 CLI 구축 최근에 개인 AI 조수의 개념은 공상 과학처럼 보였다. 기술 애호가 인 Alex, 똑똑하고 현지 AI 동반자를 꿈꾸는 것을 상상해보십시오.

정신 건강을위한 AI는 스탠포드 대학교의 흥미로운 새로운 이니셔티브를 통해주의 깊게 분석됩니다.정신 건강을위한 AI는 스탠포드 대학교의 흥미로운 새로운 이니셔티브를 통해주의 깊게 분석됩니다.Apr 18, 2025 am 11:49 AM

AI4MH의 첫 출시는 2025 년 4 월 15 일에 열렸으며, 유명한 정신과 의사이자 신경 과학자 인 Luminary Dr. Tom Insel 박사는 킥오프 스피커 역할을했습니다. Insel 박사는 정신 건강 연구 및 테크노에서 뛰어난 작업으로 유명합니다.

2025 WNBA 드래프트 클래스는 리그가 성장하고 온라인 괴롭힘과 싸우고 있습니다.2025 WNBA 드래프트 클래스는 리그가 성장하고 온라인 괴롭힘과 싸우고 있습니다.Apr 18, 2025 am 11:44 AM

Engelbert는 "WNBA가 모든 사람, 플레이어, 팬 및 기업 파트너가 안전하고 가치가 있으며 권한을 부여받는 공간으로 남아 있기를 원합니다. 아노

파이썬 내장 데이터 구조에 대한 포괄적 인 가이드 - 분석 Vidhya파이썬 내장 데이터 구조에 대한 포괄적 인 가이드 - 분석 VidhyaApr 18, 2025 am 11:43 AM

소개 Python은 특히 데이터 과학 및 생성 AI에서 프로그래밍 언어로 탁월합니다. 대규모 데이터 세트를 처리 할 때 효율적인 데이터 조작 (저장, 관리 및 액세스)이 중요합니다. 우리는 이전에 숫자와 st를 다루었습니다

대안과 비교하여 OpenAi의 새로운 모델의 첫인상대안과 비교하여 OpenAi의 새로운 모델의 첫인상Apr 18, 2025 am 11:41 AM

다이빙하기 전에 중요한 경고 : AI 성능은 비 결정적이며 고도로 사용하는 것이 중요합니다. 간단히 말하면 마일리지는 다를 수 있습니다. 이 기사 (또는 다른) 기사를 최종 단어로 취하지 마십시오. 대신 에이 모델을 자신의 시나리오에서 테스트하십시오.

AI 포트폴리오 | AI 경력을위한 포트폴리오를 구축하는 방법은 무엇입니까?AI 포트폴리오 | AI 경력을위한 포트폴리오를 구축하는 방법은 무엇입니까?Apr 18, 2025 am 11:40 AM

뛰어난 AI/ML 포트폴리오 구축 : 초보자 및 전문가를위한 안내서 인공 지능 (AI) 및 머신 러닝 (ML)의 역할을 확보하는 데 강력한 포트폴리오를 만드는 것이 중요합니다. 이 안내서는 포트폴리오 구축에 대한 조언을 제공합니다

보안 운영에 대한 에이전트 AI가 무엇을 의미 할 수 있는지보안 운영에 대한 에이전트 AI가 무엇을 의미 할 수 있는지Apr 18, 2025 am 11:36 AM

결과? 소진, 비 효율성 및 탐지와 동작 사이의 넓은 차이. 이 중 어느 것도 사이버 보안에서 일하는 사람에게는 충격이되지 않습니다. 그러나 에이전트 AI의 약속은 잠재적 인 전환점으로 부상했다. 이 새로운 수업

Google 대 Openai : AI 학생들을위한 AI 싸움Google 대 Openai : AI 학생들을위한 AI 싸움Apr 18, 2025 am 11:31 AM

장기 파트너십 대 즉각적인 영향? 2 주 전 Openai는 2025 년 5 월 말까지 미국과 캐나다 대학생들에게 Chatgpt Plus에 무료로 이용할 수있는 강력한 단기 제안으로 발전했습니다.

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

MinGW - Windows용 미니멀리스트 GNU

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경