APISR、2次元専用の超解像度AIモデル：オンラインで入手可能、CVPRによって選択

「ドラゴンボール」「ポケモン」「新世紀エヴァンゲリオン」など、前世紀に放送されたアニメ作品は、多くの人々の幼少期の思い出の一部であり、私たちに情熱、友情、そして夢をもたらしてきました。 . ビジュアルジャーニー。ある時点で、私たちは突然これらの子供時代の思い出を再訪したいという衝動に駆られることがありますが、残念なことに、これらの子供時代の思い出の認識率は非常に低く、ワイドスクリーンテレビで良好な視覚体験を作り出すことは不可能であることに気づくかもしれません。これらの子供時代の思い出を、HD 解像度のデジタル世界で育った子供たちと共有してください。

このような悪質な競争（そして潜在的な市場）に対しては、アニメ会社にリメイクを制作してもらうのも一つの方法です。この作業は人的・経済的に多大な費用がかかりますが、問題を無視して市場シェアを失うよりは価値があるかもしれません。

マルチモーダル人工知能のパフォーマンスはますます強力になっており、AI ベースの超解像技術を使用してアニメーションの解像度を向上させることは、検討する価値のある方向性となっています。この技術は、少数の低解像度画像から高解像度画像を再構成し、アニメーション画像をより鮮明で詳細なものにすることができます。この手法は、多数のサンプル データをトレーニングすることによって深度を利用します。最近、ミシガン大学、イェール大学、浙江大学の共同チームは、アニメーション制作プロセスを分析することにより、アニメーション超解像度タスク用のツール セットを作成しました。非常に実用的です。新しい方法。これには、データセット、モデル、およびいくつかの改善が含まれます。この研究は CVPR 2024 カンファレンスに採択されました。チームはまた、関連コードをオープンソース化し、Huggingface で試用モデルを開始しました。

論文のタイトル: APISR: アニメ制作にインスピレーションを得た現実世界のアニメの超解像度
論文のアドレス：https://arxiv.org/pdf/2403.01598.pdf
コードアドレス：https://github.com/Kiteretsu77/APISR
試作モデル: https://huggingface.co/spaces/HikariDawn/APISR
以下の画像は、「ドラゴン」の第 1 話のスクリーンショットを使用して当サイトが試行した結果です。効果は肉眼でも確認できます。視認性は良好です。

さらに、このテクノロジを使用してビデオの解像度を向上させようとした人もいますが、素晴らしい結果が得られています。

アニメ制作プロセス

#この新しい手法の革新性を理解するために、まずアニメーションが一般的にどのように制作されるかを見てみましょう。

まず、人間が紙にスケッチし、コンピュータ生成画像 (CGI) 処理を通じて色付けされ、強化されます。これらの処理されたスケッチが接続されてビデオが作成されます。

ただし、描画プロセスは非常に手間がかかり、人間の目は動きに敏感ではないため、ビデオを合成する場合、業界標準では複数の連続フレームで 1 つの画像を再利用します。

このプロセスを分析することで、共同チームは、アニメーション超解像度モデルをトレーニングするためにビデオ モデルとビデオ データセットを使用する必要があるかどうか疑問に思わずにはいられませんでした。画像に対して超解像度を実行することは完全に可能です。そしてこれらの画像を連結します。

そこで彼らは、画像ベースの手法とデータセットを使用して、画像とビデオに適した統一された超解像度と復元のフレームワークを作成することにしました。

新しい提案手法

アニメーション制作用画像超解像(API SR)データセット

チーム APIここでは、SR データセットが提案され、その収集と編成方法が簡単に紹介されます。この方法では、アニメーション ビデオの特性 (図 2 を参照) を利用し、ビデオから最も圧縮率が低く、最も情報量の多いフレームを選択できます。

I フレーム ベースの画像コレクション: ビデオ圧縮には、ビデオ品質とデータ サイズの間のトレードオフが関係します。現在、多くのビデオ圧縮標準があり、それぞれに独自の複雑なエンジニアリング システムがありますが、それらはすべて同様のバックボーン設計を持っています。

これらの特性により、各フレームの圧縮品質が異なります。ビデオ圧縮プロセスでは、いくつかのキー フレーム (つまり、I フレーム) を個別の圧縮単位として指定します。実際には、I フレームはシーンが変わるときの最初のフレームです。これらの I フレームは大量のデータを占有する可能性があります。非 I フレーム (つまり、P フレームと B フレーム) は圧縮率が高く、時間の経過に伴う変化を導入するために、圧縮プロセス中に I フレームを参照として使用する必要があります。図 3a に示すように、チームが収集したアニメーション ビデオでは、一般に I フレームのデータ サイズが非 I フレームのデータ サイズよりも大きく、実際に I フレームの品質が高くなります。したがって、チームはビデオ処理ツール ffmpeg を使用してビデオ ソースからすべての I フレームを抽出し、それらを初期データ プールとして使用しました。

Отбор на основе сложности изображения: команда проверила первоначальный пул I-кадров на основе оценки сложности изображения (ICA), которая является более подходящим индикатором для анимации, см. рисунок 4.

Набор данных API: команда вручную собрала 562 высококачественных аниме-видео. Затем на основе двух вышеуказанных шагов были собраны 10 кадров с наибольшим количеством очков из каждого видео. Затем была проведена некоторая фильтрация для удаления неподходящих изображений и в итоге был получен набор данных, содержащий 3740 изображений высокого качества. На рис. 5 показано несколько примеров изображений. Кроме того, на рисунке 3b мы также можем видеть преимущества набора данных API с точки зрения сложности изображения.

Вернемся к исходному разрешению 720P: Изучая процесс производства анимации, мы видим, что большая часть производства анимации использует формат 720P (то есть изображение имеет высоту 720 пикселей). ). Однако в реальных сценариях аниме часто ошибочно масштабируют до 1080P или других форматов в попытке стандартизировать мультимедийные форматы. Команда экспериментально обнаружила, что изменение размера всех аниме-изображений до исходного разрешения 720P обеспечивает плотность объектов, задуманную создателями, а также более четкие рисованные линии аниме и информацию CGI.

Практическая модель деградации для анимации

В реальных задачах со сверхвысоким разрешением разработка модели деградации очень важна. Основываясь на моделях деградации высокого порядка и недавней модели восстановления сжатия видео на основе изображений, команда предложила два улучшения, которые могут восстановить искаженные нарисованные от руки линии и различные артефакты сжатия, а также улучшить представление модели деградации. Рисунок 6а иллюстрирует эту модель деградации.

Сжатие, ориентированное на прогнозирование. Для задачи восстановления анимации артефактов сжатия видео использование моделей ухудшения качества изображения представляет собой сложную проблему. Это связано с тем, что метод сжатия формата изображения JPEG и принцип сжатия видео различны.

Чтобы справиться с такими трудностями, команда разработала модель сжатия, ориентированную на прогнозирование, используемую в модели ухудшения качества изображения. Для этого модуля требуется алгоритм сжатия видео для сжатия одного входного кадра.

При таком подходе модель деградации изображения способна синтезировать артефакты сжатия, аналогичные тем, которые наблюдаются при типичном многокадровом сжатии видео, как показано на рисунке 7. Затем, подавая эти синтезированные изображения в сеть изображений сверхвысокого разрешения, система может эффективно изучить закономерности различных артефактов сжатия и восстановить их.

Перетасуйте порядок изменения размера модулей: вырожденные модели в реальных областях сверхвысокого разрешения должны учитывать модули размытия, изменения размера, шума и сжатия. Размытие, шум и сжатие — это реальные артефакты, которые можно синтезировать с помощью четких математических моделей или алгоритмов. Однако логика модуля изменения размера совершенно другая. Изменение размера не является частью естественной генерации изображений, а введено специально для сверхразрешения парных наборов данных. Поэтому предыдущий модуль изменения размера фиксированного размера был не очень подходящим. Команда предложила более надежное и эффективное решение, которое предполагает случайное размещение операций изменения размера в разном порядке в вырожденной модели.

Улучшить нарисованные от руки линии для анимации

Команда решила напрямую извлечь информацию об уточненных нарисованных от руки линиях и сравнить ее с реальными данными (GT/ground -истина) слияния, образуя таким образом псевдо GT. Внедряя этот специально предназначенный улучшенный псевдо-GT в процесс обучения со сверхвысоким разрешением, сеть может генерировать четкие нарисованные от руки линии без введения дополнительных модулей нейронной сети или отдельных сетей постобработки.

Чтобы лучше извлекать нарисованные от руки линии, команда использовала XDoG — алгоритм извлечения эскизов, основанный на попиксельном ядре Гаусса, который может извлекать карты GT с острыми краями.

Однако карты ребер XDoG страдают от чрезмерного шума, содержат посторонние пиксели и изображения ломаных линий. Чтобы решить эту проблему, команда предложила метод фильтрации выбросов в сочетании со специально разработанным методом пассивного расширения. Таким образом, получается более связное и ненарушенное представление нарисованных от руки линий.

Команда экспериментально обнаружила, что чрезмерная резкость предварительно обработанного GT может сделать нарисованные от руки края линий более заметными, чем другие несущественные детали краев теней, что облегчает фильтру выбросов их различие. Для этого команда предложила сначала выполнить три раунда операций маскировки резкости на GT. Рисунок 8 дает простую иллюстрацию этого процесса.

Сбалансированная двойная потеря восприятия для анимации

Существует также проблема нежелательных цветовых артефактов, в основном из-за данных во время обучения несоответствие домена между генератором и потерей восприятия.

Чтобы решить эту проблему и компенсировать недостатки предыдущих методов, команда использовала предварительно обученный ResNet, который был обучен решению задачи классификации целей анимации на наборе данных Danbooru. Набор данных Danbooru — это база данных иллюстраций аниме, содержащая большие и насыщенные аннотации. Поскольку эта предварительно обученная сеть представляет собой ResNet50, а не VGG, команда также предложила аналогичное сравнение среднего уровня.

Однако, если вы используете только потери на основе ResNet, вы можете пострадать от плохих визуальных результатов. Это вызвано присущей набору данных Danbooru предвзятостью: большинство изображений в этом наборе данных представляют собой лица или относительно простые. , иллюстрация. Поэтому команда взвесила свое мнение и решила использовать реальные функции в качестве вспомогательного средства для управления потерей восприятия на основе ResNet во время обучения. Этот метод позволяет получить визуально приятное изображение, а также решить проблему нежелательных цветов.

Эксперимент

Детали реализации

В эксперименте команда использовала новый предложенный набор данных API в качестве сети изображений. набор обучающих данных. Что касается сети изображений, используется крошечная версия GRL с ближайшим модулем сверточной повышающей дискретизации.

Более подробную информацию и параметры см. в оригинальной статье.

Сравнение с лучшими на данный момент методами

Команда количественно и качественно сравнила недавно предложенный APISR с некоторыми другими передовыми методами, включая Real-ESRGAN, BSRGAN, RealBasicVSR, AnimeSR. и ВКД-СР.

Количественное сравнение

Как показано в таблице 1, новая модель имеет наименьший размер сети, всего 1,03 млн параметров, но ее производительность по всем показателям превосходит все остальные. , метод.

Команда особо подчеркнула роль моделей сжатия, ориентированных на прогнозирование.

Кроме того, следует отметить, что новый метод достигает таких результатов только при сложности обучающей выборки 13,3% и 25% для AnimeSR и VQDSR соответственно. В основном это связано с введением оценки сложности изображения в процесс сортировки набора данных, что может улучшить эффект обучения представлению анимационных изображений путем выбора насыщенных информацией изображений. Более того, благодаря новой модели явной деградации обучение модели деградации не требуется.

Качественное сравнение

Как показано на рисунке 10, визуальное качество, полученное с помощью APISR, намного лучше, чем другие методы.

Команда также провела исследование абляции, чтобы проверить эффективность нового набора данных, модели деградации и расчета потерь. Подробности см. в исходном документе.

以上がAPISR、2次元専用の超解像度AIモデル：オンラインで入手可能、CVPRによって選択の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。