볼케이노 엔진 4K 복원필름이 베이징 영화제에 선정되었으며, 관련 기술이 CVPR2024에서 우승을 차지했습니다.

4월 18일, 제14회 베이징국제영화제가 공식 개막했습니다. 중국전영자료원과 도우인, 볼케이노 엔진이 공동 복원한 홍콩 영화 '플랜 A'와 '충성 서약'이 '공물과 복원' 부문에 선정돼 4월 18일과 19일에 상영된다.

'플랜 A'와 '더 팩트' 영화 포스터의 4K 버전

'플랜 A'와 '더 팩트'는 각각 1983년과 1978년에 개봉했으니 40여 년 전입니다. 2023년 8월, 중국전영자료원, Douyin, Volcano Engine이 공동으로 '홍콩 고전 영화 복원 프로젝트'를 시작하고 홍콩 영화 100편의 복원을 발표했습니다. 이번에 상영된 두 편의 영화는 위에서 언급한 프로젝트에서 나온 것입니다. 영화의 원본 촬영 네거티브는 홍콩에서 4K 형식으로 스캔되었습니다. 전체 복원 과정에는 중국 영화 아카이브(China Film Archive)의 물리적 및 디지털 복원, 볼케이노(Volcano)의 AI 기술 복원이 포함되었습니다. 두 당사자 간의 엔진 및 협력. 예술 복원 및 기타 측면.

Volcano Engine은 ByteDance가 소유한 클라우드 서비스 플랫폼으로, 각각 Xigua Video 및 Douyin과 협력하여 국내 고전 애니메이션 100편과 Beyond 클래식 콘서트의 4K 복원을 완료했습니다.

"홍콩 고전 영화 복원 프로젝트"에서 Volcano Engine은 대형 시각적 모델의 강력한 생성 기능과 풍부한 사전 지식을 사용하여 선명도 측면에서 복원 효과를 달성하고, AIGC 기술을 오래된 영화 복원 장면에 처음으로 적용했습니다. 색상, 부드러움, 정확성 및 결함 제거 측면에서 전반적인 개선, 단어 수: 78.

대형 모델 생성 능력은 Stable Diffusion 대형 모델 생성 능력의 도움으로 이전 알고리즘보다 복구 효과가 뛰어나고 다른 한편으로는 사진 디테일이 더 자연스럽습니다. 대규모 모델은 매우 강력한 정보 구조화 능력을 갖고 있으며, 대량의 데이터를 결합한 후 모델 매개변수에 대량의 지식을 추출하고 "저장"할 수 있으며 더 많은 복구 시나리오를 처리할 수 있습니다. Volcano Engine의 비디오 클라우드 기술 아키텍처 책임자인 Wang Yue가 소개되었습니다.

현재 Volcano 엔진은 특정 장면에서 대형 시각적 모델에 의해 쉽게 생성되는 아티팩트 또는 잘못된 텍스처와 같은 문제는 물론 멀티 프레임 비디오 장면의 안정성을 해결하기 위해 일련의 알고리즘 및 엔지니어링 최적화를 수행했습니다. 시나리오의 처리 효율성 및 컴퓨팅 성능 비용이 향상되었습니다.

심층적인 수리 작업에 따라 화산 엔진 멀티미디어 연구소는 적응형 특징 가중치 모듈, 비지도 학습과 지도 학습의 조합, 텍스트 의미 사전 및 기타 훈련 방법을 도입하여 대형 시각적 모델을 더욱 최적화했습니다. 품질이 매우 낮은 인물 사진의 재구성, 바랜 필름의 색상 조정, 텍스트의 누락된 획 생성 등 여러 측면에서 좋은 결과를 얻었습니다.

수리 전 vs 수리 후

바랜 필름 색상 조정 전후 비교

원본 필름의 "복원된" 질감을 유지하기 위해 기술팀도 특별히 적응형 질감을 개발하는 동시에 손상된 이미지 질감, 야경의 부드러움을 향상시켰습니다. 필름 노이즈를 시뮬레이션하는 그레인을 추가하는 노이즈 제거 및 기타 효과 향상 구성표입니다.

동시에 오래된 영화 복원에 관한 다양한 실무적 문제를 해결하는 것도 화산엔진 멀티미디어 연구실의 학문적 연구에 가치를 제공합니다. 최고의 컴퓨터 비전 컨퍼런스 CVPR 2024에서 Volcano Engine Multimedia Laboratory는 NTIRE ( New Trends in Image Restoration and Enhancement) 트랙에서 우승을 차지했습니다. 우승 솔루션은 주로 신속한 학습(Prompt Learning) 이미지 향상 복구를 기반으로 합니다. 다수의 오래된 필름과 마찬가지로 예측할 수 없는 복합 손상(알 수 없는 복합 열화)을 복구하는 문제.

"오래된 필름을 수리하는 것은 실제로 우리가 매일 하는 일입니다." Wang Yue는 오래된 필름의 낮은 선명도, 낮은 유창성, 색상 왜곡 및 결함과 같은 일반적인 이미지 품질 문제가 Douyin의 대규모에서도 해결되었다고 말했습니다. 제출물에서. Huoshan Engine은 Douyin에 서비스를 제공함으로써 오래된 영화 복원을 위한 비교적 완전한 지능형 처리 기술 솔루션 세트를 형성했습니다.

공개된 정보에 따르면 필름 복원 과정은 복잡하고 사소한 것이며 숙련된 복원자가 영화를 완성하는 데 한 달이 소요됩니다. 최근에는 딥러닝 등 AI 기술을 통해 오래된 필름 복원의 품질과 효율성을 획기적으로 향상시키는 것이 가능해졌습니다.

홍콩 시립대학교 컴퓨터공학과 조교수인 마 케데(Ma Kede)는 현재 인공지능 기술의 급속한 발전이 미래에는 비동기화 문제뿐만 아니라 큰 잠재력을 보여주고 있다고 말했습니다. 일부 오래된 영화의 오디오 및 비디오는 AIGC를 통해 더욱 효과적으로 해결될 것이지만, AI조차도 자동으로 복구 효과를 판단하는 방법을 학습할 것으로 예상됩니다.

옛 홍콩 영화는 많은 관객들의 젊음의 추억을 담고 있습니다. '플랜 A'에서 성룡의 뛰어난 연기력과 스릴 넘치는 액션 장면은 물론, 'The Affair'에서 쉬관원의 유머러스한 연기는 관객들에게 셀 수 없이 많은 놀라움을 안겨주었습니다. 복원 기술의 발전으로 이러한 과거의 고전이 다시 살아날 것입니다.

'플랜 A' 사전 상영회에서 중국 성룡 부사장이었던 수석 영화 프로듀서 쑨롱은 이전에 성룡이 '이글'에서 터널 속의 빛을 믿었다는 현장을 팬들과 공유했다. '프로젝트'는 밝지 않았고 '클래식 홍콩'은 당시의 창작에 대한 아쉬움을 만회하기 위해 '영화 복원 프로젝트'팀이 의견을 바탕으로 조정을 진행했다.

Dinosaur Pictures 창립자, Jackie Chan China 전 부사장, Sparkle Roll Films 부사장이 상영 전 공유한 내용

현재 관객들은 '홍콩 고전 영화 복원 프로젝트'를 온라인으로 시청할 수 있습니다. Douyin, Xigua 비디오 "복원된 영화 중 나머지 영화의 4K 복원 버전도 차례로 출시될 예정입니다.

위 내용은 볼케이노 엔진 4K 복원필름이 베이징 영화제에 선정되었으며, 관련 기술이 CVPR2024에서 우승을 차지했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!