단 한 문장만으로 사진을 움직일 수 있습니다. Apple은 대형 모델 애니메이션을 사용하여 생성하고 결과를 직접 편집할 수 있습니다.

현재 대형 모델의 놀라운 혁신 기능은 창작 분야, 특히 Sora와 같은 비디오 생성 기술의 대표자들에게 계속 영향을 미치고 있습니다. 비록 소라가 새로운 세대의 트렌드를 선도하고 있지만 지금은 애플의 최신 연구 결과에 주목할 필요가 있을지도 모른다.

Apple 연구원들은 최근 대규모 언어 모델을 사용하여 애니메이션을 생성할 수 있는 "Keyframer"라는 프레임워크를 출시했습니다. 이 프레임워크를 사용하면 사용자는 자연어 프롬프트를 통해 정적 2D 이미지용 애니메이션을 쉽게 만들 수 있습니다. 이 연구는 애니메이션 디자인에서 언어 모델의 잠재력을 보여줌으로써 애니메이션 디자이너에게 보다 효율적이고 직관적인 도구를 제공합니다.

논문 주소: https://arxiv.org/pdf/2402.06071.pdf

특히 이 연구는 언어 프롬프트 디자인 아티팩트와 LLM의 코드 생성 기능을 기반으로 하는 새로운 디자인 원칙을 결합하여 구축되었습니다. 새로운 AI 기반 애니메이션 도구인 Keyframer. Keyframer를 사용하면 사용자는 자연어 프롬프트를 통해 정적 2D 이미지에서 애니메이션 일러스트레이션을 만들 수 있습니다. GPT-4를 사용하면 Keyframer는 CSS 애니메이션 코드를 생성하여 입력 SVG(Scalable Vector Graphic)에 애니메이션을 적용할 수 있습니다.

또한 Keyframer는 다양한 편집기 유형을 통해 생성된 애니메이션을 사용자가 직접 편집할 수 있도록 지원합니다.

사용자는 반복되는 프롬프트와 요청을 통해 LLM에서 생성된 디자인 변형을 사용하여 지속적으로 디자인을 개선하고 이를 통해 새로운 디자인 방향을 생각할 수 있습니다. 그러나 Keyframer는 아직 공개되지 않았습니다.

이 연구를 수행하는 이유는 Apple이 애니메이션에 LLM을 적용하는 것이 완전히 탐구되지 않았으며 사용자가 자연어로 동작을 효과적으로 설명하는 방법과 같은 새로운 과제를 안겨준다고 밝혔기 때문입니다. Dall・E 및 Midjourney와 같은 Vincentian 그래픽 도구는 현재 훌륭하지만 애니메이션 디자인에는 타이밍 및 조정과 같은 더 복잡한 고려 사항이 필요하며 이는 단일 프롬프트로 완전히 요약하기 어렵습니다.

사용자는 이미지를 업로드하고 프롬프트 상자에 "별이 반짝반짝하자"와 같은 내용을 입력한 다음 생성을 클릭하면 이 연구의 효과를 확인할 수 있습니다.

사용자는 여러 애니메이션 디자인을 일괄적으로 생성하고 별도의 창에서 색상 코드 및 애니메이션 지속 시간과 같은 속성을 조정할 수 있습니다. Keyframer가 자동으로 이러한 변경 사항을 CSS로 변환하고 코드 자체를 완전히 편집할 수 있으므로 코딩 경험이 필요하지 않습니다. 이 설명 기반 접근 방식은 종종 여러 가지 다른 응용 프로그램과 약간의 코딩 경험이 필요한 다른 형태의 AI 생성 애니메이션보다 훨씬 간단합니다.

Keyframer 소개

Keyframer는 정적 이미지에서 애니메이션을 만들도록 설계된 LLM 기반 애플리케이션입니다. Keyframer는 LLM의 코드 생성 기능과 정적 벡터 그래픽(SVG)의 의미 구조를 활용하여 사용자가 제공한 자연 언어 신호를 기반으로 애니메이션을 생성합니다.

Input: 시스템은 사용자가 애니메이션을 적용하려는 SVG 이미지 코드를 붙여넣을 수 있는 입력 영역을 제공합니다(SVG는 일러스트레이션에 사용되는 표준이자 널리 사용되는 이미지 형식입니다. 확장성과 호환성을 위해 일반적으로 사용됨). 여러 플랫폼에서). Keyframer에서는 사용자가 이미지의 시각적 디자인을 미리 볼 수 있도록 SVG 렌더링이 코드 편집기 옆에 표시됩니다. 그림 2에 표시된 것처럼 토성 그림의 SVG 코드에는 하늘, 고리 등과 같은 식별자가 포함되어 있습니다. .

GPT 팁: 이 시스템을 사용하면 사용자가 자연어 프롬프트를 입력하여 애니메이션을 만들 수 있습니다. 사용자는 단일 디자인(행성이 회전하도록 만들기) 또는 여러 디자인 변형(3개의 반짝이는 별이 있는 디자인 만들기)을 요청한 다음 애니메이션 생성 버튼을 클릭하여 요청을 시작할 수 있습니다. 사용자 요청을 GPT에 전달하기 전에 연구에서는 완전한 원시 SVG XML을 사용하여 프롬프트를 개선하고 LLM 응답 형식을 지정합니다.

GPT 출력: 프롬프트 요청이 시작되면 GPT는 그림 3과 같이 하나 이상의 CSS 조각으로 구성된 응답을 전송합니다.

Rendering: 렌더링 부분에는 (1) 각 애니메이션의 시각적 렌더링과 LLM에서 생성된 1문장 설명, (2) 디자인 수정을 위한 일련의 편집기가 포함됩니다.

코드 편집기는 CodeMirror를 사용하여 구현됩니다. 속성 편집기는 코드 편집을 위한 속성별 UI를 제공합니다(예: 색상 편집). 연구에서는 색상 선택기를 제공합니다. 그림 5는 코드 편집기와 속성 편집기 아이콘을 보여줍니다.

Iteration: 사용자가 애니메이션 제작 프로세스(DG1)를 더 깊이 탐색할 수 있도록 지원하기 위해 이 연구에서는 사용자가 프롬프트를 사용하여 생성된 애니메이션을 반복적으로 구축할 수 있는 기능도 제공합니다. 생성된 각 디자인 아래에 " + 새 프롬프트 추가 " 버튼이 있습니다. 이 버튼을 클릭하면 사용자가 새 프롬프트로 디자인을 확장할 수 있는 새 양식이 페이지 하단에 열립니다.

디자인한 사이드바와 요약을 저장하세요. 그림 6의 오른쪽에 표시된 것처럼 이 시스템을 통해 사용자는 디자인에 별표를 표시하고 사이드바에 추가할 수 있습니다. 또한 시스템에는 모든 텍스트 편집기를 숨기고 애니메이션과 프롬프트를 표시하는 요약 모드가 있어 사용자가 이전 프롬프트와 디자인을 빠르게 다시 방문할 수 있습니다.

실험 중에 Apple 팀은 Keyframer를 사용해 볼 참가자 13명(여성 6명, 남성 7명)을 선정했습니다. 표 1은 참가자와 그들이 습득한 기술에 대한 일부 정보를 제공합니다.

전문 모션 디자이너 "EP13"도 Keyframer의 기능 확장 가능성을 보고 있습니다. "이 도구가 잠재력이 너무 크기 때문에 우리 작업을 대체할 수 있을지 조금 걱정됩니다. 하지만 잘 생각해보면 이번 연구는 우리의 실력을 향상시킬 뿐입니다."

전반적으로 참가자들은 Keyframer 경험에 만족했습니다. 참가자들은 만족(4)에서 중립(3) 사이의 평균 3.9점을 받았습니다. 참가자들은 223개의 디자인을 만들어냈습니다. 평균적으로 각 참가자는 17.2개의 디자인을 생성했습니다. 그림 8은 두 참가자의 최종 애니메이션 예를 보여줍니다.

자세한 기술적인 내용은 원본 문서를 참조하세요.

위 내용은 단 한 문장만으로 사진을 움직일 수 있습니다. Apple은 대형 모델 애니메이션을 사용하여 생성하고 결과를 직접 편집할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!