Volcano Engine 4K修復フィルムが北京映画祭に選出、関連技術がCVPR2024で優勝

4月18日、第14回北京国際映画祭が正式に開幕した。中国映画アーカイブ、Douyin、Volcano Engineが共同修復した香港映画「Plan A」と「The Pledge of Allegiance」が「賛辞と修復」部門に選ばれ、4月18日と19日に上映される。

『プランA』と『ザ・パクト』の映画ポスターの4Kバージョン

『プランA』と『ザ・パクト』はそれぞれ1983年と1978年に公開され、今から40年以上前です。 2023年8月、中国映画アーカイブ、Douyin、Volcano Engineは共同で「古典香港映画修復プロジェクト」を立ち上げ、100本の香港映画を修復すると発表した。今回上映された2本の映画は、上記のプロジェクトによるもので、映画のオリジナル撮影ネガは香港で4Kフォーマットでスキャンされ、修復プロセス全体には中国映画アーカイブによる物理的およびデジタル修復、VolcanoによるAI技術による修復が含まれています。エンジン、美術修復などの両者の協力。

Volcano Engine は Bytedance が所有するクラウド サービス プラットフォームで、Xigua Video と Douyin とそれぞれ協力して、100 本の国内クラシック アニメーションと Beyond クラシック コンサートの 4K 復元を完了しました。

「クラシック香港フィルム修復プロジェクト」では、Volcano Engine が AIGC テクノロジーを古いフィルム修復シーンに初めて適用し、大規模なビジュアル モデルの強力な生成機能と豊富な事前知識を使用して、鮮明さの点で修復効果を実現しました。色と滑らかさの精度と欠陥の除去の点で全面的に改善されました。ワード数: 78。

一方で、大規模モデル生成能力は強力であり、安定拡散大規模モデル生成能力の助けにより、修復効果は以前のアルゴリズムよりも優れており、一方で、画像の詳細はより自然です。大規模なモデルは非常に強力な情報構造化能力を備えており、大量のデータをペアリングした後、大量の知識を抽出してモデル パラメーターに「保存」でき、生成スペースがより豊富になり、より多くの修復シナリオに対応できます。 Volcano EngineのビデオクラウドテクノロジーアーキテクチャディレクターのWang Yue氏が紹介した。

現在、Volcano エンジンはアルゴリズムとエンジニアリングにおいて一連の最適化を行っており、特定のシーンで生成されやすいアーティファクトや偽テクスチャなどの大規模なビジュアル モデルのパフォーマンスと、マルチフレームの安定性を向上させています。ビデオシーンの処理効率と計算電力コスト。

徹底した修復作業に従って、火山エンジン マルチメディア研究所は、適応特徴重み付けモジュール、教師なし学習と教師あり学習の組み合わせ、テキスト意味論的事前学習、およびその他のトレーニング方法を導入することにより、大規模なビジュアル モデルをさらに最適化しました。非常に低品質のポートレートの再構成、色褪せたフィルムの色調整、テキストの欠落したストロークの生成など、いくつかの面で良好な結果を達成しました。

修理前と修理後

色あせたフィルムの色調整前後の比較

元のフィルムの「古いように修復された」質感を維持するために、技術チームは、損傷した画像テクスチャ、夜景の滑らかさを改善しながら、適応テクスチャも特別に開発しました。フィルムノイズをシミュレートするグレインを追加するノイズ除去およびその他のエフェクト。

同時に、古いフィルムの修復におけるさまざまな実際的な問題を解決することは、火山エンジンマルチメディア研究所の学術研究にも価値をもたらします。コンピューター ビジョンのトップ カンファレンス CVPR 2024 では、Volcano Engine Multimedia Laboratory が NTIRE ( Image Restoration and Enhancement) トラックで優勝しました。その優勝したソリューションは、プロンプト学習 (Prompt Learning) に基づいており、主に画像強調回復を解決します。多くの古いフィルムと同様に、予測できない複雑な損傷 (未知の複雑な劣化) を修復するという問題。

「古いフィルムの修復は実際に私たちが毎日行っていることです。」Wang Yue 氏は、古いフィルムの低解像度、低流暢性、色の歪み、欠陥などの一般的な画質問題は、Douyin の巨大なフィルムでも解決されていると述べました。提出物で。 Huoshan Engine は、Douyin にサービスを提供することで、古いフィルムを修復するためのインテリジェント処理技術ソリューションの比較的完全なセットを形成しました。

公開情報によると、フィルムの修復プロセスは複雑かつ簡単で、経験豊富な修復業者がフィルムを完成させるには 1 か月かかります。近年、ディープラーニングなどのAI技術により、古フィルム修復の品質と効率を大幅に向上させることが可能になりました。

香港城市大学コンピューターサイエンス学部助教授のマ・ケデ氏は、現在の人工知能技術の急速な発展は、将来的には同期外れの問題だけではなく、大きな可能性を示していると述べた。一部の古い映画のオーディオとビデオは AIGC を通じてより効果的に解決されますが、AI が修復効果を自動的に判断する方法を学習することも期待されています。

古い香港映画は、ジャッキー・チェンの卓越した演技力と「プラン A」でのスリリングなアクション シーン、そして「情事」でのシュー グァンウェンのユーモラスな演技は、多くの視聴者に数え切れないほどの驚きをもたらしてきました。修復技術の向上により、こうした過去の名作が甦ります。

「プランA」の先行上映活動中、ジャッキー・チェン中国副社長でシニア映画プロデューサーの孫栄氏は、ジャッキー・チェンが以前「イーグル」のトンネルの中に光があると信じていたことをその場でファンと共有した。 「フィルム修復プロジェクト」チームは、意見をもとに調整を加え、当時の創作の後悔を補った。

ダイナソー・ピクチャーズの創設者であり、ジャッキー・チェン・チャイナの元副社長であり、スパークル・ロール・フィルムズの副社長である孫栄氏が上映前に共有しました

現在、観客は「古典香港映画修復プロジェクト」をオンラインで視聴できますon Douyin, Xigua Video 「修復された映画については、残りの映画の4K修復版も順次リリースされます。

以上がVolcano Engine 4K修復フィルムが北京映画祭に選出、関連技術がCVPR2024で優勝の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。