피카의 증폭 비법: 오늘부터 영상과 음향 효과를 "한 냄비에" 제작할 수 있습니다!

방금 Pika에서 새로운 기능을 출시했습니다:

이전에 음소거를 드려 죄송합니다.

오늘부터 누구나 영상에 음향효과를 원활하게 생성할 수 있습니다——음향효과!

생성하는 방법에는 두 가지가 있습니다.

• 원하는 사운드를 설명하라는 메시지를 표시하거나
• Pika가 비디오 콘텐츠를 기반으로 자동으로 생성하도록 하세요.

그리고 피카는 매우 자신있게 말했습니다. "음향 효과가 훌륭하다고 생각하신다면 그건 그렇기 때문입니다."

자동차 소리, 라디오 소리, 독수리 소리, 칼 소리, 환호 소리... 소리가 무궁무진하다고 할 수 있고, 효과 면에서도 영상과 잘 어울리는 것 같아요.

홍보 영상뿐만 아니라 피카 공식 홈페이지에서도 다양한 데모를 공개했습니다.

예를 들어프롬프트가 필요하지 않습니다, AI가 베이컨을 굽는 영상을 시청했는데, 위반감 없이 음향 효과를 일치시킬 수 있습니다.

또 다른 메시지:

고채도 색상, 일몰 시 들판 위의 불꽃놀이.
초채도 색상, 일몰 시 들판 위의 불꽃놀이.

피카는 영상을 생성하면서 소리를 추가할 수 있는데, 불꽃놀이가 피어나는 순간에 붙어있는 소리도 꽤 정확하다는 효과를 보면 어렵지 않습니다.

이러한 새로운 기능은 큰 주말에 출시되었습니다. 네티즌들이 Pika"충분한 볼륨과 충분히 훌륭하다"를 외치는 동안 일부 사람들은 또한 다음과 같이 생각했습니다.

이 기능은 다중 모드 AI 생성을 위한 모든 "무한 보석"을 수집하고 있습니다. .

이제 계속해서 피카의 음향 효과 작동 방법을 살펴보겠습니다.

영상에 "소리 좀 내세요"

Pika의 영상에 음향 효과를 생성하는 작업도 굉장해요! 저것! 단순한! 하나!

예를 들어 단 하나의 프롬프트, 비디오 및 음향 효과는 "한 냄비에서 나올 수 있습니다":

Mdieval 트럼펫 연주자.
중세 트럼펫 연주자.

이전 동영상 생성 작업과 비교하면 이제 아래 "음향 효과" 버튼만 켜면 됩니다.

두 번째 조작 방법은 영상을 생성한 후 따로 더빙하는 것입니다.

예를 들어 아래 비디오에서 아래의 "편집" 을 클릭한 다음 "음향 효과" 를 선택합니다.

그런 다음 원하는 사운드를 설명할 수 있습니다. 예를 들면 다음과 같습니다.

경주용 자동차가 엔진을 회전시킵니다.
경주용 자동차가 엔진을 회전시킵니다.

그러면 단 몇 초 만에 Pika는 설명과 영상을 바탕으로 음향 효과를 생성할 수 있으며, 선택할 수 있는 소리는 6가지입니다!

음향 효과 기능은 현재 Super Collaborator (Super Collaborator) 및 Pro 사용자에게만 테스트용으로 열려 있다는 점을 언급할 가치가 있습니다.

그러나 피카는 "이 기능을 곧 모든 사용자에게 출시할 예정입니다!"라고 말했습니다.

그리고 이제 한 네티즌 그룹이 이 베타 버전을 테스트하기 시작했고 다음과 같이 말했습니다.

사운드 효과가 영상과 매우 일치하고 분위기를 많이 더해줍니다.

원리는 무엇인가요?

음향의 원리는 이번에 피카에서는 공개하지 않았지만, 소라가 인기를 얻은 후 음성 스타트업 회사인 ElevenLabs에서 비슷한 더빙 기능을 제작했습니다.

당시 NVIDIA 수석 과학자 Jim Fan이 이에 대해 좀 더 심층적인 분석을 했습니다.

그는 AI가 정확한 비디오-오디오 매핑을 학습하려면 잠재 공간에서 일부 "암시적" 물리학을 모델링해야 한다고 믿습니다.

그는 음파를 시뮬레이션할 때 엔드투엔드 Transformer가 해결해야 하는 문제를 자세히 설명했습니다.

1. 각 개체의 카테고리, 재료 및 공간 위치를 식별합니다.
2. 객체 간의 고차원 상호작용을 인식합니다. 예를 들어 막대기, 금속 또는 드럼헤드인가요? 어떤 속도로 부딪히나요?
3. 환경 파악: 레스토랑인가요, 우주 정거장인가요, 아니면 옐로스톤 공원인가요?
4. 모델의 내부 메모리에서 사물과 환경의 일반적인 사운드 패턴을 검색합니다.
5. "소프트"하고 학습된 물리적 규칙을 사용하여 사운드 패턴의 매개변수를 결합 및 조정하고 완전히 새로운 사운드를 즉석에서 생성할 수도 있습니다. 이는 게임 엔진의 "절차적 오디오"와 약간 비슷합니다.
6. 장면이 복잡한 경우 모델은 물체의 공간적 위치에 따라 여러 사운드 트랙을 겹쳐야 합니다.

이 모든 것은 명시적인 모듈은 아니지만 대부분의 인터넷 비디오에서 자연스럽게 시간적으로 정렬되는 수많은 (비디오, 오디오) 쌍에 대한 경사 하강 학습을 통해 달성됩니다. 주의 레이어는 확산 목표를 달성하기 위해 가중치로 이러한 알고리즘을 구현합니다.

또한 Jim Fan은 당시 Nvidia의 관련 작업에는 이렇게 높은 품질의 AI 오디오 엔진이 없었다고 말했지만 5년 전 MIT의 논문을 추천했습니다. The Sound of Pixels:

관심 친구는 기사 끝에 있는 링크를 클릭하여 자세한 내용을 알아볼 수 있습니다.

한 가지 더

멀티 모달에 관해 LeCun도 최근 인터뷰에서 매우 뜨거운 의견을 밝혔습니다. 그는

언어(텍스트)가 낮은 대역폭보다 작다고 믿습니다. 12바이트/초. 최신 LLM은 일반적으로 교육에 1x10^13 더블바이트 토큰(예: 2x10^13바이트)을 사용합니다. 인간이 읽는 데는 약 10만년(하루 12시간)이 걸립니다.

시각적 대역폭은 훨씬 더 높습니다: 약 20MB/s. 두 개의 시신경 각각에는 100만 개의 신경 섬유가 있으며, 각각은 초당 약 10바이트를 전달합니다. 4세 아이가 깨어 있는 상태에서 보내는 시간은 약 16,000시간이며, 이는 바이트로 환산하면 약 1x10^15에 해당합니다.

시각 인식의 데이터 대역폭은 텍스트 언어 데이터 대역폭의 약 1,600만 배입니다.

4살 아이가 보는 데이터는 인터넷에 공개된 모든 텍스트 교육 LLM 데이터의 50배에 달합니다.

따라서 LeCun은 다음과 같이 결론을 내렸습니다.

기계가 고대역폭 감각 입력(예: 시각)을 학습하지 않고서는 인간 수준의 인공 지능을 달성할 수 있는 방법이 전혀 없습니다.

그럼 이 견해에 동의하시나요?

위 내용은 피카의 증폭 비법: 오늘부터 영상과 음향 효과를 "한 냄비에" 제작할 수 있습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!