WorldGPT 출시: Sora와 유사한 비디오 AI 에이전트 생성, 그래픽 및 텍스트 "부활"

OpenAI의 Sora는 올해 2월 놀라운 데뷔를 하여 텍스트 생성 비디오에 새로운 혁신을 가져왔습니다. 헐리우드에서 온 것처럼 보이는 텍스트 입력을 기반으로 놀랍도록 현실적이고 상상력이 풍부한 비디오를 만들 수 있습니다. 많은 사람들은 이러한 혁신에 감탄했고 OpenAI의 성능이 정점에 도달했다고 믿습니다.

소라에 의한 열풍은 수그러들지 않고 있습니다. 동시에 연구자들은 AI 영상 생성 기술의 엄청난 잠재력을 깨닫기 시작했으며 이 분야는 점점 더 주목을 받고 있습니다.

그러나 현재 AI 비디오 생성 분야에서 대부분의 알고리즘 연구는 텍스트 프롬프트를 통한 비디오 생성에 중점을 두고 있으며, 특히 이미지와 텍스트가 결합된 시나리오는 깊이 논의되거나 널리 적용되지 않았습니다. 이러한 편향은 생성된 비디오의 다양성과 제어 가능성을 감소시키고 정적 이미지를 동적 비디오로 변환하는 기능을 제한합니다.

반면, 대부분의 기존 비디오 생성 모델은 생성된 비디오 콘텐츠에 대한 편집 가능성 지원이 부족하며 생성된 비디오에 대한 개인화된 조정에 대한 사용자 요구를 충족할 수 없습니다.

팁: 팬더를 곰으로 변신시켜 춤추게 만드세요. (팬더를 곰으로 바꾸고 춤추게 만드세요.)

이 기사에서는 SEEKING AI, 하버드 대학교, 스탠포드 대학교 및 북경 대학교의 연구원들이 공동으로 이미지-텍스트 기반 비디오 생성 및 편집을 위한 혁신적인 통합 프레임워크를 제안했습니다. WorldGPT로 명명되었습니다. 이 프레임워크는 SEEKING AI와 위에서 언급한 상위 대학이 공동으로 개발한 VisionGPT 프레임워크를 기반으로 구축되었습니다. 사진과 텍스트에서 직접 비디오를 생성하는 기능을 실현할 수 있을 뿐만 아니라 생성된 비디오의 스타일 전송 및 배경 교체도 지원합니다. 간단한 텍스트 프롬프트(프롬프트) 및 일련의 비디오 모양 편집 작업.

이 프레임워크의 또 다른 중요한 장점은 교육이 필요하지 않다는 것입니다. 이는 기술 임계값을 크게 낮추고 배포 및 사용을 매우 편리하게 만듭니다. 사용자는 지루한 학습 과정에 신경 쓰지 않고 모델을 직접 사용하여 생성할 수 있습니다.

• 논문 주소: https://arxiv.org/pdf/2403.07944.pdf
• 논문 제목: WorldGPT: 텍스트 및 이미지 입력의 풍부한 세계 모델로서 Sora에서 영감을 받은 비디오 AI 에이전트

Next Let's 다양하고 복잡한 비디오 생성 제어 시나리오에서 WorldGPT의 예제 데모를 살펴보세요.

배경 교체 + 비디오 생성

프롬프트: "배들의 함대가 울부짖는 폭풍을 뚫고 나아갔고, 그들의 돛은 무자비한 폭풍의 거대한 파도를 타고 항해했습니다. 폭풍우, 그들의 돛은 바다의 우뚝 솟은 파도를 항해하면서 부풀어 올랐습니다. 끊임없는 폭풍.)》

배경 교체 + 스타일화 + 비디오 생성

프롬프트: "도시 거리의 귀여운 용이 불을 뿜고 있습니다. (귀여운 용이 도시 거리에 불을 뿜고 있습니다.) "

객체 교체 + 배경 교체 + 비디오 생성

프롬프트: "네온 조명으로 빛나는 사이버펑크 스타일 로봇 사이버펑크 스타일 자동인형이 네온 불빛이 비치는 디스토피아적인 도시 풍경과 반사된 풍경을 질주했습니다. 매끄러운 금속 본체에 투사된 우뚝 솟은 홀로그램과 디지털 디케이. 매끄러운 금속 본체 전체에 디케이가 재생됩니다.)》

위의 예에서 볼 수 있듯이 WorldGPT는 복잡한 비디오에 직면할 때 다음과 같은 이점을 갖습니다. 생성 지침:

1) 원본을 더 잘 유지합니다. 이미지의 구조와 환경을 입력합니다.

2) 강력한 비디오 생성 사용자 정의 기능을 보여주는 이미지-텍스트 설명을 준수하는 생성된 비디오를 생성합니다. 생성된 비디오는 프롬프트를 통해 사용자 정의하고 편집할 수 있습니다.

WorldGPT의 원리, 실험 및 사용 사례에 대해 자세히 알아보려면 원본 논문을 확인하세요.

VisonGPT

앞서 언급했듯이 WorldGPT 프레임워크는 VisionGPT 프레임워크를 기반으로 구축되었습니다. 다음으로 VisionGPT에 대한 정보를 간략히 소개하겠습니다.

VisionGPT는 SeekingAI, 스탠포드 대학교, 하버드 대학교, 북경 대학교 및 기타 세계 최고의 기관이 공동으로 개발한 획기적인 오픈 월드 시각적 인식 대형 모델 프레임워크입니다. 이 프레임워크는 최첨단 SOTA 대형 모델의 지능형 통합 및 의사 결정 선택을 통해 강력한 AI 다중 모드 이미지 처리 기능을 제공합니다.

VisionGPT의 혁신은 주로 세 가지 측면에 반영됩니다.

1. 첫째, LLaMA-2와 같은 대규모 언어 모델을 핵심으로 사용자의 신속한 요청을 세부 단계 요구 사항으로 분해하고 가장 많은 것을 자동으로 호출합니다.
2. 두 번째로 VisionGPT는 여러 SOTA 대형 모델에서 생성된 다중 모드 출력을 자동으로 수용하고 융합하여 사용자 요구에 맞는 이미지 처리 결과를 생성합니다.
3. 마지막으로 VisionGPT는 별도의 작업 없이 매우 높은 유연성과 다양성을 제공합니다. 사용자가 모델을 미세 조정할 수 있도록 텍스트 기반 이미지 이해, 생성 및 편집을 포함한 광범위한 애플리케이션 시나리오를 지원할 수 있습니다.

• 논문 주소: https://arxiv.org/pdf/2403.09027.pdf
• 논문 제목: VisionGPT: 일반화된 다중 모드 프레임워크를 사용하는 비전-언어 이해 에이전트

VisionGPT 사용 사례

위에서 볼 수 있듯이 VisionGPT는 1) 미세 조정 없이 오픈 월드에서 인스턴스 분할 2) 프롬프트 기반 이미지 생성 및 편집 기능 등을 쉽게 달성할 수 있습니다. VisionGPT의 작업흐름은 아래 그림과 같습니다.

자세한 내용은 논문을 참고해주세요.

VisionGPT-3D

또한 연구원들은 텍스트를 시각적 요소로 변환하는 데 있어 주요 과제인 2D 이미지를 3D 표현으로 효율적이고 정확하게 변환하는 방법을 해결하는 것을 목표로 하는 VisionGPT-3D도 출시했습니다. 이 과정에서 우리는 종종 알고리즘과 실제 요구 사항 간의 불일치 문제에 직면하여 최종 결과의 품질에 영향을 미칩니다. VisionGPT-3D는 여러 최첨단 SOTA 비전 대형 모델을 통합하여 이러한 변환 프로세스를 최적화하는 다중 모드 프레임워크를 제안합니다. 핵심 혁신은 가장 적합한 시각적 SOTA 모델과 3D 포인트 클라우드 생성 알고리즘을 자동으로 선택하고 텍스트 프롬프트와 같은 다중 모드 입력을 기반으로 사용자 요구를 가장 잘 충족하는 출력을 생성하는 기능에 있습니다.

• 논문 주소: https://arxiv.org/pdf/2403.09530v1.pdf
• 논문 제목: VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding

자세한 내용은 다음을 참조하세요. 원본 종이에.

위 내용은 WorldGPT 출시: Sora와 유사한 비디오 AI 에이전트 생성, 그래픽 및 텍스트 "부활"의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!