HuggingFace 엔지니어가 구축한 오픈 소스 AI 비디오 도구, 감독만 있으면 됩니다.

Clapper로 동영상을 만들려면 감독만 있으면 됩니다.

소라가 나오자마자 영상분야는 제너레이티브 AI 시대로 돌입한 것 같습니다. 하지만 오늘날까지 우리는 아직 OpenAI의 공식 동영상 생성 도구를 사용하지 않았고, 이를 기다리는 사람들은 다른 방법을 찾기 시작했습니다.

최근 몇 주 동안 오픈 소스 비디오 편집 도구인 Clapper가 사람들의 관심을 끌었습니다.

많은 기술 회사에서 제공하는 비디오 생성기와 달리 Clapper는 1년 전 프로토타입으로 출시된 오픈 소스 AI 스토리 시각화 도구입니다. 기존 비디오 편집기나 3D 장면을 입력으로 사용하는 최신 AI 편집기를 대체하도록 설계되지 않았습니다.

Clapper의 철학은 다양한 생성 AI 기술을 결합하여 누구나 대화형, 반복적, 직관적인 프로세스를 통해 AI를 사용하여 동영상을 만들 수 있도록 하는 것입니다. 외부 도구, 영화 제작 또는 AI 엔지니어링 기술이 필요하지 않습니다. Clapper에서는 비디오 및 오디오 파일의 시퀀스를 직접 편집할 필요가 없지만 대신 캐릭터, 위치, 날씨, 기간, 스타일 등과 같은 상위 수준의 추상 개념을 조정하여 AI 에이전트를 기반으로 스토리를 반복합니다. 더.

Clapper 작성자 Julian Bilcke는 HuggingFace의 AI 프런트엔드 엔지니어입니다. 그는 이 방향으로 계속 작업하기 위해 디렉터 모드도 개발 중이라고 말했습니다. 사용자가 전체 화면으로 비디오를 재생하고, 디렉터 의자(또는 소파)에 편안하게 앉아 에이전트에게 명령을 외치고, AI가 영화를 만들게 해주세요.

최근 Julian Bilcke는 대형 모델을 사용하여 임의의 텍스트를 타임라인으로 변환하는 등의 새로운 기능을 출시했습니다. Clapper의 인기도 높아져 GitHub에서 이미 1,100개 이상의 별을 보유하고 있습니다.

• GitHub 링크: https://github.com/jbilcke-hf/clapper
• HuggingFace 링크: https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
• 평가판 URL: https://clapper.app/

사용 방법

오픈 소스 도구이기 때문에 우리가 보는 주요 사항은 물론 사용하기 쉽습니다.

AI 마스터 Karpathy가 AI 단편 영상을 제작했던 경험을 아직도 기억하시나요? 이 최고 전문가는 "오만과 편견"의 처음 세 문장을 애니메이션 버전으로 바꾸는 데 꼬박 한 시간이 걸렸습니다. 세 개의 문장과 세 개의 장면만 있지만 이 워크플로는 세 개의 문장보다 훨씬 더 복잡합니다. 그는 먼저 Claude를 사용하여 원본 텍스트를 기반으로 일련의 이미지 프롬프트 단어를 생성한 다음 이러한 프롬프트 단어를 Vincent 그래프 모델에 입력하여 해당 이미지를 생성한 다음 이를 비디오 모델에 넘겨 애니메이션을 제작했습니다. Elevenlabs에 배정되었고 마침내 Veed Studio에 배치되었습니다.

Karpathy가 끝난 후 그는 트윗을 통해 다음과 같이 불평했습니다. "기업가 여러분, 기회가 왔습니다! 시장에는 이러한 프로세스를 통합하고 단순화할 수 있는 AI 도구가 시급히 필요합니다." Clapper는 이러한 모든 기능을 통합한 원스톱 플랫폼 중 하나입니다.

일반적으로 짧은 동영상을 만들고 싶다면 다음 단계를 거쳐야 합니다. 먼저 스토리와 대본이 필요하고, 그 대본을 바탕으로 스토리보드를 그린 다음, 스토리보드를 바탕으로 자료를 촬영하거나 찾고, 편집 소프트웨어에서 정리하고, 애니메이션 효과와 특수효과를 추가한 뒤, 선택적으로 대사와 배경음악을 추가하면 된다. 아니면 음향 효과. 이에 따라 안무, 연출, 사진, 편집, 후반작업, 더빙 등 영화·TV 제작산업에 분업이 생겨났다.

Clapper에서는 영상 제작이 또 다른 논리를 따릅니다. 각 트랙은 Premier, Cutting 및 기타 편집 소프트웨어와 같은 비디오 또는 사진 자료에 해당하지 않지만 특정 유형의 작업에 해당합니다. ㅋㅋㅋ >的 클래퍼의 트랙

^{영상에 AI를 활용하는 문제에 있어서 저희는 Party A입니다. 클래퍼는 업계 최고의 AI로 구성된 크루와 같다. Clapper에는 GPT-4o, Claude 3.5(Sonnet) 등과 같은 "최고 수준"의 대형 모델 시리즈가 내장되어 있습니다. 귀하의 요구 사항을 해당 "AI 디렉터"와 연결하는 책임을 맡은 Party B의 전무 이사와 같습니다.}

위 그림에서 볼 수 있듯이 첫 번째 트랙은 스토리보드를 나타내며 Clapper에 내장된 대형 모델과 대화하여 API를 통해 Vincent 다이어그램 모델을 호출하고 AI 스토리보드 교사가 생성하도록 합니다. 해당 사진은 비디오 이미지의 기초로 사용됩니다. Er CLAPPER를 통해 위의 Wensheng 지도 모델에 액세스할 수 있습니다. Clapper에서 제공한 샘플을 예로 들어 보겠습니다. 다음 트랙은 장면, 내레이션, 카메라 시점, 배경 음악 및 음향 효과에 해당합니다. 이 서부 황무지 이야기를 위해 ElevenLabs 또는 Fal.ai에게 총격전의 폐허나 폭발로부터 바람 소리를 생성하도록 요청할 수 있습니다.

그리고 Clapper에는 "말로 영화를 만든다"는 꿈을 향한 큰 발걸음을 내딛을 수 있는 기능도 있습니다. 스크립트를 Clapper로 직접 가져와서 "스토리" 열에서 주인공의 캐릭터를 세심하게 생성할 수 있습니다.

"오즈의 마법사"를 예로 들면, 캐릭터에 더욱 개인화된 캐릭터 설명을 추가할 수 있을 뿐만 아니라, 여주인공 도로시의 시각적 이미지를 설정하기 위해 사진을 업로드할 수도 있습니다. 즉, 우리는 전 세계 어느 배우에게나 이 역할을 맡길 것을 요청할 수 있으며, 심지어 18세 디카프리오가 도로시 역을 연기하는 모습을 보고 싶어도 할 수 있다는 의미입니다. Clapper의 기능은 너무 세밀해서 캐릭터의 나이와 음색, 각 장면의 가구, Dorothy의 방에 어떤 가구가 있는지, 모험 목적지인 "Emerald City"에 있는 집의 모습 등을 모두 조정할 수 있습니다. 클래퍼에서 조정되었습니다.

물론 AI를 사용하여 먼저 분위기 있는 그림을 그릴 수도 있으며, 이는 영감과 창의성을 더욱 자극할 수 있습니다.

그러나 클래퍼의 기능은 영상 제작에 필요한 부분을 충분히 고려했음에도 불구하고 그 효과는 다소 만족스럽지 않습니다. 그림 속 인물의 움직임은 약간 "유령적"일 뿐만 아니라 물리적 움직임의 법칙을 따르지 않습니다. 비디오의 전체적인 효과는 움직이는 PPT에 가깝고 장면 간 전환과 연속성이 부족하며 사운드 트랙도 AI로 가득 차 있고 멜로디가 없는 소리가 나고 약간의 소음이 있습니다.

생성 AI가 영상 제작 프로세스를 바꾸는 데는 오랜 시간이 걸릴 수 있지만 Clapper의 등장으로 기존 영상 편집 소프트웨어에 대한 AI 기능을 계속 확장하고 있는 주요 제조업체에 제공할 수 있을 것입니다. 새로운 구현 아이디어.

참고 내용:

https://news.ycombinator.com/item?id=41221399

https://x.com/aigclink/status/18 18 111874531205216

위 내용은 HuggingFace 엔지니어가 구축한 오픈 소스 AI 비디오 도구, 감독만 있으면 됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!