특수 효과를 추가하려면 한 문장이나 그림만 있으면 됩니다. Stable Diffusion 회사는 AIGC를 사용하여 새로운 기술을 사용했습니다.

특히 2022년 AIGC 발생을 경험한 이후 많은 사람들이 이미 생성 AI 기술의 매력을 이해했다고 믿습니다. Stable Diffusion으로 대표되는 텍스트-이미지 생성 기술은 한때 전 세계적으로 인기를 얻었으며 AI의 도움으로 예술적 상상력을 표현하기 위해 수많은 사용자가 쏟아졌습니다...

이미지 편집에 비해 비디오 편집은 시각적인 모양을 수정하는 것뿐만 아니라 시간적 일관성을 유지하면서 새로운 작업을 합성해야 하는 더욱 어려운 작업 문제입니다.

이 트랙을 탐색하는 회사가 많이 있습니다. 얼마 전 구글은 텍스트 조건부 영상 확산 모델(VDM)을 영상 편집에 적용하기 위해 드림믹스(Dreamix)를 출시했다.

최근 Stable Diffusion 제작에 참여한 회사인 Runway는 텍스트 프롬프트나 참조 이미지에 지정된 스타일을 적용하여 기존 비디오를 새로운 비디오로 변환할 수 있는 새로운 인공 지능 모델 "Gen-1"을 출시했습니다. . 동영상.

논문 링크: https://arxiv.org/pdf/2302.03011.pdf

프로젝트 홈페이지: https://research.runwayml.com/gen1

2021년 Runway는 뮌헨 대학의 연구원들과 협력하여 Stable Diffusion의 첫 번째 버전을 구축했습니다. 그런 다음 영국 스타트업인 Stability AI가 더 많은 데이터에 대한 모델을 훈련하는 데 필요한 계산 비용을 지원하기 위해 개입했습니다. 2022년에 Stability AI는 Stable Diffusion을 주류로 가져와 연구 프로젝트에서 세계적인 현상으로 변모시킵니다.

Runway는 Stable Diffusion이 이미지에 했던 것처럼 Gen-1이 비디오에도 할 수 있기를 바란다고 말했습니다.

Runway의 CEO이자 공동 창립자인 Cristóbal Valenzuela는 "우리는 이미지 생성 모델의 폭발적인 증가를 목격했습니다."라고 말했습니다. "2023년은 비디오의 해가 될 것이라고 믿습니다."

특히 Gen-1은 다양한 편집 모드를 지원합니다:

1. 이미지나 메시지의 스타일을 비디오의 모든 프레임에 전송하세요.

2. 스토리보드. 모델을 완전히 스타일화된 애니메이션 렌더링으로 바꿔보세요.

3.마스크. 비디오에서 주제를 분리하고 간단한 텍스트 프롬프트를 사용하여 수정합니다.

4. 입력 이미지 또는 프롬프트를 적용하여 텍스처 없는 렌더링을 사실적인 출력으로 전환합니다.

5. 더 높은 충실도의 결과를 위해 모델을 사용자 정의하여 Gen-1의 모든 기능을 활용하세요.

회사 공식 홈페이지에 게시된 데모에서는 Gen-1이 비디오 스타일을 원활하게 바꾸는 방법을 보여줍니다. 몇 가지 예를 살펴보겠습니다.

예를 들어 "거리의 사람들"을 "점토 인형"으로 바꾸려면 프롬프트 한 줄만 필요합니다:

또는 "테이블 위에 쌓인 책"을 " 도시 풍경 밤" ":

"눈 위를 달리는 것"에서 "달 위를 걷는 것"까지:

어린 소녀는 몇 초 만에 고대 현자로 변했습니다.

Paper Details

시각 효과와 비디오 편집은 현대 미디어 환경 어디에서나 볼 수 있습니다. 비디오 중심 플랫폼이 인기를 얻으면서 보다 직관적이고 강력한 비디오 편집 도구에 대한 필요성이 증가하고 있습니다. 그러나 비디오 데이터의 시간적 특성으로 인해 이 형식으로 편집하는 것은 여전히 ​​복잡하고 시간이 많이 걸립니다. 최첨단 기계 학습 모델은 편집 프로세스를 개선하는 데 큰 가능성을 보여 주지만, 많은 방법은 시간적 일관성과 공간적 세부 사항 간의 균형을 유지해야 합니다.

이미지 합성을 위한 생성 방법은 최근 대규모 데이터 세트에 대해 훈련된 확산 모델의 도입으로 인해 품질과 인기가 급속도로 성장하는 단계를 경험했습니다. DALL-E 2 및 Stable Diffusion과 같은 일부 텍스트 조건부 모델을 사용하면 초보 사용자가 텍스트 프롬프트만으로 상세한 이미지를 생성할 수 있습니다. 잠재 확산 모델은 지각적으로 압축된 공간에서 합성하여 이미지를 생성하는 효율적인 방법을 제공합니다.

본 논문에서는 검열되지 않은 비디오와 쌍을 이루는 텍스트-이미지 데이터의 대규모 데이터 세트에 대해 훈련된 제어 가능한 구조 및 콘텐츠 인식 비디오 확산 모델을 제안합니다. 우리는 콘텐츠를 표현하기 위해 사전 훈련된 신경망에서 예측한 구조와 임베딩을 표현하기 위해 단안 깊이 추정을 사용하기로 결정했습니다.

이 방법은 생성 과정에서 여러 가지 강력한 제어 모드를 제공합니다. 첫째, 이미지 합성 모델과 유사하게 연구원은 추론된 비디오 콘텐츠(예: 모양이나 스타일)가 사용자가 제공한 것과 일치하도록 모델을 훈련합니다. 이미지 또는 텍스트 프롬프트가 일치합니다(그림 1). 둘째, 확산 과정에서 영감을 받아 연구원들은 모델이 주어진 구조를 얼마나 잘 지원하는지 선택할 수 있도록 정보 마스킹 과정을 구조적 표현에 적용했습니다. 마지막으로, 생성된 세그먼트의 시간적 일관성을 제어하기 위해 분류 없는 지침에서 영감을 받은 맞춤형 지침 방법을 통해 추론 프로세스를 조정합니다.

전반적으로 본 연구의 주요 내용은 다음과 같습니다.

• 잠재 확산 모델은 사전 학습된 이미지 모델에 시간 계층을 도입하고 이미지와 이미지에 대한 공동 학습을 통해 비디오 생성 분야로 확장됩니다.
• 샘플 이미지나 텍스트에 따라 비디오를 수정하기 위한 구조 및 내용 인식 모델을 제안합니다. 편집은 전적으로 추론 시간에 이루어지며 각 비디오에 대한 추가 교육이나 전처리가 필요하지 않습니다.
• 시간, 콘텐츠 및 구조적 일관성에 대한 완벽한 제어를 보여줍니다. 이 연구는 이미지와 비디오 데이터에 대한 공동 훈련이 추론 시간을 통해 시간적 일관성을 제어할 수 있음을 처음으로 보여줍니다. 구조적 일관성을 위해 표현의 다양한 세부 수준에서 훈련하면 추론 중에 원하는 설정을 선택할 수 있습니다.
• 사용자 연구에서 우리의 방법은 여러 다른 방법보다 선호되었습니다. 보다 정확한 주제별 비디오를 제작하기 위해 작은 이미지 세트를 미세 조정하여 더욱 맞춤화되었습니다.
• 방법

연구 목적으로 동영상을 내용과 구조의 관점에서 생각하는 것이 도움이 될 것입니다. 여기서 구조란 몸체의 모양과 위치, 시간적 변화와 같은 기하학과 역학을 설명하는 특징을 의미합니다. 콘텐츠의 경우, 객체의 색상과 스타일, 장면의 조명 등 비디오의 모양과 의미를 설명하는 기능으로 정의됩니다. Gen-1 모델의 목표는 구조를 유지하면서 비디오 내용을 편집하는 것입니다.

이 목표를 달성하기 위해 연구자들은 구조적 표현(s로 표시됨)과 콘텐츠 표현(c로 표시됨)을 조건으로 하는 비디오 x에 대한 생성 모델 p(x|s, c)를 학습합니다. 입력 비디오에서 모양 표현 s를 추론하고 편집 내용을 설명하는 텍스트 프롬프트 c를 기반으로 수정합니다. 먼저, 조건부 잠재 비디오 확산 모델로서 생성 모델의 구현을 설명한 다음, 모양 및 내용 표현의 선택을 설명합니다. 마지막으로 모델의 최적화 과정에 대해 논의한다.

모델 구조는 그림 2에 나와 있습니다.

실험

방법을 평가하기 위해 연구진은 DAVIS 영상과 다양한 자료를 사용했습니다. 편집 프롬프트를 자동으로 생성하기 위해 연구원들은 먼저 자막 모델을 실행하여 원본 비디오 콘텐츠에 대한 설명을 얻은 다음 GPT-3를 사용하여 편집 프롬프트를 생성했습니다.

질적 연구

그림 5에서 볼 수 있듯이 결과는 이 문서의 방법이 일부 다른 입력에서 잘 수행된다는 것을 증명합니다. 또한 연구원들은 35개의 대표적인 비디오 편집 프롬프트 평가 세트에 대해 Amazon Mechanical Turk(AMT)를 사용하여 사용자 연구를 수행했습니다. 각 샘플에 대해 5명의 주석 작성자에게 기본 방법과 우리의 방법("제공된 편집 자막을 더 잘 나타내는 비디오는 무엇입니까?") 간의 비디오 편집 프롬프트의 충실도를 비교하도록 요청한 다음 무작위로 순차적으로 제시하고 과반수 투표를 통해 최종 결정을 내렸습니다. 결과.

결과는 그림 7에 나와 있습니다.

정량적 평가

그림 6은 본 논문 프레임워크의 일관성과 프롬프트 일관성 지표를 사용한 각 모델의 결과를 보여줍니다. 본 논문에서 모델의 성능은 두 가지 측면 모두에서 기본 모델을 능가하는 경향이 있습니다(즉, 그림의 오른쪽 상단 모서리에서 더 높습니다). 연구원들은 또한 기본 모델에서 강도 매개변수를 늘리는 데 약간의 상충 관계가 있음을 발견했습니다. 강도 스케일링이 클수록 프레임 일관성이 낮아지는 대신 즉각적인 일관성이 높아진다는 의미입니다. 또한 그들은 구조적 스케일링이 증가하면 내용이 더 이상 입력 구조에 의해 결정되지 않기 때문에 프롬프트 일관성이 높아진다는 것을 관찰했습니다.

Customization

그림 10은 사용자 정의 단계 수와 구조적 종속성 수준이 다른 예를 보여줍니다. 연구원들은 사용자 정의가 캐릭터의 스타일과 외모에 대한 충실도를 높여 다양한 특성을 가진 캐릭터의 구동 비디오를 사용하고 더 높은 ts 값을 결합하더라도 정확한 애니메이션 효과를 얻을 수 있다는 것을 관찰했습니다.

위 내용은 특수 효과를 추가하려면 한 문장이나 그림만 있으면 됩니다. Stable Diffusion 회사는 AIGC를 사용하여 새로운 기술을 사용했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!