Outil vidéo IA open source, il vous suffit d'être réalisateur, conçu par les ingénieurs de HuggingFace

Clapper로 동영상을 만들려면 감독만 있으면 됩니다.

소라가 나오자마자 영상분야는 제너레이티브 AI 시대로 돌입한 것 같습니다. 하지만 오늘날까지 우리는 아직 OpenAI의 공식 동영상 생성 도구를 사용하지 않았고, 이를 기다리는 사람들은 다른 방법을 찾기 시작했습니다.

최근 몇 주 동안 오픈 소스 비디오 편집 도구인 Clapper가 사람들의 관심을 끌었습니다.

많은 기술 회사에서 제공하는 비디오 생성기와 달리 Clapper는 1년 전 프로토타입으로 출시된 오픈 소스 AI 스토리 시각화 도구입니다. 기존 비디오 편집기나 3D 장면을 입력으로 사용하는 최신 AI 편집기를 대체하도록 설계되지 않았습니다.

Clapper의 철학은 다양한 생성 AI 기술을 결합하여 누구나 대화형, 반복적, 직관적인 프로세스를 통해 AI를 사용하여 동영상을 만들 수 있도록 하는 것입니다. 외부 도구, 영화 제작 또는 AI 엔지니어링 기술이 필요하지 않습니다. Clapper에서는 비디오 및 오디오 파일의 시퀀스를 직접 편집할 필요가 없지만 대신 캐릭터, 위치, 날씨, 기간, 스타일 등과 같은 상위 수준의 추상 개념을 조정하여 AI 에이전트를 기반으로 스토리를 반복합니다. 더.

Clapper 작성자 Julian Bilcke는 HuggingFace의 AI 프런트엔드 엔지니어입니다. 그는 이 방향으로 계속 작업하기 위해 디렉터 모드도 개발 중이라고 말했습니다. 사용자가 전체 화면으로 비디오를 재생하고, 디렉터 의자(또는 소파)에 편안하게 앉아 에이전트에게 명령을 외치고, AI가 영화를 만들게 해주세요.

최근 Julian Bilcke는 대형 모델을 사용하여 임의의 텍스트를 타임라인으로 변환하는 등의 새로운 기능을 출시했습니다. Clapper의 인기도 높아져 GitHub에서 이미 1,100개 이상의 별을 보유하고 있습니다.

• GitHub 링크: https://github.com/jbilcke-hf/clapper
• HuggingFace 링크: https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
• 평가판 URL: https://clapper.app/

사용 방법

오픈 소스 도구이기 때문에 우리가 보는 주요 사항은 물론 사용하기 쉽습니다.

AI 마스터 Karpathy가 AI 단편 영상을 제작했던 경험을 아직도 기억하시나요? 이 최고 전문가는 "오만과 편견"의 처음 세 문장을 애니메이션 버전으로 바꾸는 데 꼬박 한 시간이 걸렸습니다. 세 개의 문장과 세 개의 장면만 있지만 이 워크플로는 세 개의 문장보다 훨씬 더 복잡합니다. 그는 먼저 Claude를 사용하여 원본 텍스트를 기반으로 일련의 이미지 프롬프트 단어를 생성한 다음 이러한 프롬프트 단어를 Vincent 그래프 모델에 입력하여 해당 이미지를 생성한 다음 이를 비디오 모델에 넘겨 애니메이션을 제작했습니다. Elevenlabs에 배정되었고 마침내 Veed Studio에 배치되었습니다.

Karpathy가 끝난 후 그는 트윗을 통해 다음과 같이 불평했습니다. "기업가 여러분, 기회가 왔습니다! 시장에는 이러한 프로세스를 통합하고 단순화할 수 있는 AI 도구가 시급히 필요합니다." Clapper는 이러한 모든 기능을 통합한 원스톱 플랫폼 중 하나입니다.

일반적으로 짧은 동영상을 만들고 싶다면 다음 단계를 거쳐야 합니다. 먼저 스토리와 대본이 필요하고, 그 대본을 바탕으로 스토리보드를 그린 다음, 스토리보드를 바탕으로 자료를 촬영하거나 찾고, 편집 소프트웨어에서 정리하고, 애니메이션 효과와 특수효과를 추가한 뒤, 선택적으로 대사와 배경음악을 추가하면 된다. 아니면 음향 효과. 이에 따라 안무, 연출, 사진, 편집, 후반작업, 더빙 등 영화·TV 제작산업에 분업이 생겨났다.

Clapper에서는 영상 제작이 또 다른 논리를 따릅니다. 각 트랙은 Premier, Cutting 및 기타 편집 소프트웨어와 같은 비디오 또는 사진 자료에 해당하지 않지만 특정 유형의 작업에 해당합니다. ㅋㅋㅋ >的 Clapper's track

^{En ce qui concerne l'utilisation de l'IA pour la vidéo, nous sommes la partie A. Clapper est comme une équipe composée de la meilleure IA du secteur. Clapper a intégré une série de grands modèles "haut de gamme" tels que GPT-4o, Claude 3.5 (Sonnet), etc. C'est comme le directeur exécutif de la partie B, chargé de connecter vos besoins au « directeur IA » correspondant.}

Comme vous pouvez le voir sur l'image ci-dessus, la première piste représente le storyboard et communique avec le grand modèle intégré de Clapper. Elle appellera le modèle de diagramme de Vincent via l'API et laissera le professeur de storyboard IA générer le. Les images correspondantes servent de base aux images vidéo. Euh Grâce à CLAPPER, vous pouvez accéder au modèle de carte Wensheng ci-dessus. Prenez les échantillons donnés par Clapper comme exemple. La piste suivante correspond à la scène, à la narration, à la perspective de la caméra, à la musique de fond et aux effets sonores. Vous pouvez demander à ElevenLabs ou Fal.ai de générer des bruits de vent provenant de ruines ou d'explosions provenant de fusillades pour cette histoire de désert occidental.

Et Clapper possède également une fonctionnalité qui pourrait vraiment faire un grand pas vers le rêve de "faire des films en parlant". Nous pouvons importer directement le script dans Clapper et créer soigneusement un personnage pour votre protagoniste dans la colonne « Histoire ».

En prenant "Le Magicien d'Oz" comme exemple, nous pouvons non seulement ajouter des descriptions de personnages plus personnalisées aux personnages, mais également télécharger des images pour définir l'image visuelle de l'héroïne Dorothy. Cela signifie que nous pouvons demander à n'importe quel acteur dans le monde de jouer ce rôle, même si vous voulez voir un DiCaprio de 18 ans jouer Dorothy, vous pouvez le faire. Les fonctions de Clapper sont si détaillées que vous pouvez ajuster l'âge et le timbre des personnages, le mobilier de chaque scène, les meubles de la chambre de Dorothy et à quoi ressemble la maison de leur destination d'aventure "Emerald City", tout peut être ajusté dans Clapper Ajustement.

Bien sûr, vous pouvez également utiliser l'IA pour dessiner d'abord des images d'ambiance, ce qui peut stimuler davantage votre inspiration et votre créativité.

Cependant, bien que la fonction de Clapper ait pleinement pris en compte les besoins de création de vidéos, son effet est quelque peu insatisfaisant. Non seulement les mouvements des personnages de l’image sont un peu « fantomatiques », mais ils ne sont pas conformes aux lois du mouvement physique. L'effet global de la vidéo ressemble plus à un PPT en mouvement, manquant de transitions et de continuité entre les plans, et la bande sonore est également pleine d'IA, sonne sans mélodie et contient du bruit.

L'IA générative prendra peut-être beaucoup de temps pour changer le processus de production vidéo, mais l'émergence de Clapper pourrait être en mesure de fournir aux grands fabricants qui étendent encore les fonctions d'IA pour les logiciels de montage vidéo traditionnels. une nouvelle idée de mise en œuvre.

Contenu de référence :

https://news.ycombinator.com/item?id=41221399

https://x.com/aigclink/status/181 8 111874531205216

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!