検索
ホームページテクノロジー周辺機器AIAPISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択

「ドラゴンボール」「ポケモン」「新世紀エヴァンゲリオン」など、前世紀に放送されたアニメ作品は、多くの人々の幼少期の思い出の一部であり、私たちに情熱、友情、そして夢をもたらしてきました。 . ビジュアルジャーニー。ある時点で、私たちは突然これらの子供時代の思い出を再訪したいという衝動に駆られることがありますが、残念なことに、これらの子供時代の思い出の認識率は非常に低く、ワイドスクリーンテレビで良好な視覚体験を作り出すことは不可能であることに気づくかもしれません。これらの子供時代の思い出を、HD 解像度のデジタル世界で育った子供たちと共有してください。

このような悪質な競争(そして潜在的な市場)に対しては、アニメ会社にリメイクを制作してもらうのも一つの方法です。この作業は人的・経済的に多大な費用がかかりますが、問題を無視して市場シェアを失うよりは価値があるかもしれません。

マルチモーダル人工知能のパフォーマンスはますます強力になっており、AI ベースの超解像技術を使用してアニメーションの解像度を向上させることは、検討する価値のある方向性となっています。この技術は、少数の低解像度画像から高解像度画像を再構成し、アニメーション画像をより鮮明で詳細なものにすることができます。この手法は、多数のサンプル データをトレーニングすることによって深度を利用します。最近、ミシガン大学、イェール大学、浙江大学の共同チームは、アニメーション制作プロセスを分析することにより、アニメーション超解像度タスク用のツール セットを作成しました。非常に実用的です。新しい方法。これには、データセット、モデル、およびいくつかの改善が含まれます。この研究は CVPR 2024 カンファレンスに採択されました。チームはまた、関連コードをオープンソース化し、Huggingface で試用モデルを開始しました。

APISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択

    論文のタイトル: APISR: アニメ制作にインスピレーションを得た現実世界のアニメの超解像度
  • 論文のアドレス:https://arxiv.org/pdf/2403.01598.pdf
  • コードアドレス:https://github.com/Kiteretsu77/APISR
  • 試作モデル: https://huggingface.co/spaces/HikariDawn/APISR
  • 以下の画像は、「ドラゴン」の第 1 話のスクリーンショットを使用して当サイトが試行した結果です。効果は肉眼でも確認できます。視認性は良好です。

APISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択 さらに、このテクノロジを使用してビデオの解像度を向上させようとした人もいますが、素晴らしい結果が得られています。

APISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択

アニメ制作プロセス

#この新しい手法の革新性を理解するために、まずアニメーションが一般的にどのように制作されるかを見てみましょう。

まず、人間が紙にスケッチし、コンピュータ生成画像 (CGI) 処理を通じて色付けされ、強化されます。これらの処理されたスケッチが接続されてビデオが作成されます。

ただし、描画プロセスは非常に手間がかかり、人間の目は動きに敏感ではないため、ビデオを合成する場合、業界標準では複数の連続フレームで 1 つの画像を再利用します。

このプロセスを分析することで、共同チームは、アニメーション超解像度モデルをトレーニングするためにビデオ モデルとビデオ データセットを使用する必要があるかどうか疑問に思わずにはいられませんでした。画像に対して超解像度を実行することは完全に可能です。そしてこれらの画像を連結します。

そこで彼らは、画像ベースの手法とデータセットを使用して、画像とビデオに適した統一された超解像度と復元のフレームワークを作成することにしました。

新しい提案手法

アニメーション制作用画像超解像(API SR)データセット

チーム APIここでは、SR データセットが提案され、その収集と編成方法が簡単に紹介されます。この方法では、アニメーション ビデオの特性 (図 2 を参照) を利用し、ビデオから最も圧縮率が低く、最も情報量の多いフレームを選択できます。

APISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択I フレーム ベースの画像コレクション: ビデオ圧縮には、ビデオ品質とデータ サイズの間のトレードオフが関係します。現在、多くのビデオ圧縮標準があり、それぞれに独自の複雑なエンジニアリング システムがありますが、それらはすべて同様のバックボーン設計を持っています。

これらの特性により、各フレームの圧縮品質が異なります。ビデオ圧縮プロセスでは、いくつかのキー フレーム (つまり、I フレーム) を個別の圧縮単位として指定します。実際には、I フレームはシーンが変わるときの最初のフレームです。これらの I フレームは大量のデータを占有する可能性があります。非 I フレーム (つまり、P フレームと B フレーム) は圧縮率が高く、時間の経過に伴う変化を導入するために、圧縮プロセス中に I フレームを参照として使用する必要があります。図 3a に示すように、チームが収集したアニメーション ビデオでは、一般に I フレームのデータ サイズが非 I フレームのデータ サイズよりも大きく、実際に I フレームの品質が高くなります。したがって、チームはビデオ処理ツール ffmpeg を使用してビデオ ソースからすべての I フレームを抽出し、それらを初期データ プールとして使用しました。

Отбор на основе сложности изображения: команда проверила первоначальный пул I-кадров на основе оценки сложности изображения (ICA), которая является более подходящим индикатором для анимации, см. рисунок 4.

APISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択

Набор данных API: команда вручную собрала 562 высококачественных аниме-видео. Затем на основе двух вышеуказанных шагов были собраны 10 кадров с наибольшим количеством очков из каждого видео. Затем была проведена некоторая фильтрация для удаления неподходящих изображений и в итоге был получен набор данных, содержащий 3740 изображений высокого качества. На рис. 5 показано несколько примеров изображений. Кроме того, на рисунке 3b мы также можем видеть преимущества набора данных API с точки зрения сложности изображения.

APISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択

Вернемся к исходному разрешению 720P: Изучая процесс производства анимации, мы видим, что большая часть производства анимации использует формат 720P (то есть изображение имеет высоту 720 пикселей). ). Однако в реальных сценариях аниме часто ошибочно масштабируют до 1080P или других форматов в попытке стандартизировать мультимедийные форматы. Команда экспериментально обнаружила, что изменение размера всех аниме-изображений до исходного разрешения 720P обеспечивает плотность объектов, задуманную создателями, а также более четкие рисованные линии аниме и информацию CGI.

Практическая модель деградации для анимации

В реальных задачах со сверхвысоким разрешением разработка модели деградации очень важна. Основываясь на моделях деградации высокого порядка и недавней модели восстановления сжатия видео на основе изображений, команда предложила два улучшения, которые могут восстановить искаженные нарисованные от руки линии и различные артефакты сжатия, а также улучшить представление модели деградации. Рисунок 6а иллюстрирует эту модель деградации.

APISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択

Сжатие, ориентированное на прогнозирование. Для задачи восстановления анимации артефактов сжатия видео использование моделей ухудшения качества изображения представляет собой сложную проблему. Это связано с тем, что метод сжатия формата изображения JPEG и принцип сжатия видео различны.

Чтобы справиться с такими трудностями, команда разработала модель сжатия, ориентированную на прогнозирование, используемую в модели ухудшения качества изображения. Для этого модуля требуется алгоритм сжатия видео для сжатия одного входного кадра.

При таком подходе модель деградации изображения способна синтезировать артефакты сжатия, аналогичные тем, которые наблюдаются при типичном многокадровом сжатии видео, как показано на рисунке 7. Затем, подавая эти синтезированные изображения в сеть изображений сверхвысокого разрешения, система может эффективно изучить закономерности различных артефактов сжатия и восстановить их.

APISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択

Перетасуйте порядок изменения размера модулей: вырожденные модели в реальных областях сверхвысокого разрешения должны учитывать модули размытия, изменения размера, шума и сжатия. Размытие, шум и сжатие — это реальные артефакты, которые можно синтезировать с помощью четких математических моделей или алгоритмов. Однако логика модуля изменения размера совершенно другая. Изменение размера не является частью естественной генерации изображений, а введено специально для сверхразрешения парных наборов данных. Поэтому предыдущий модуль изменения размера фиксированного размера был не очень подходящим. Команда предложила более надежное и эффективное решение, которое предполагает случайное размещение операций изменения размера в разном порядке в вырожденной модели.

Улучшить нарисованные от руки линии для анимации

Команда решила напрямую извлечь информацию об уточненных нарисованных от руки линиях и сравнить ее с реальными данными (GT/ground -истина) слияния, образуя таким образом псевдо GT. Внедряя этот специально предназначенный улучшенный псевдо-GT в процесс обучения со сверхвысоким разрешением, сеть может генерировать четкие нарисованные от руки линии без введения дополнительных модулей нейронной сети или отдельных сетей постобработки.

Чтобы лучше извлекать нарисованные от руки линии, команда использовала XDoG — алгоритм извлечения эскизов, основанный на попиксельном ядре Гаусса, который может извлекать карты GT с острыми краями.

Однако карты ребер XDoG страдают от чрезмерного шума, содержат посторонние пиксели и изображения ломаных линий. Чтобы решить эту проблему, команда предложила метод фильтрации выбросов в сочетании со специально разработанным методом пассивного расширения. Таким образом, получается более связное и ненарушенное представление нарисованных от руки линий.

Команда экспериментально обнаружила, что чрезмерная резкость предварительно обработанного GT может сделать нарисованные от руки края линий более заметными, чем другие несущественные детали краев теней, что облегчает фильтру выбросов их различие. Для этого команда предложила сначала выполнить три раунда операций маскировки резкости на GT. Рисунок 8 дает простую иллюстрацию этого процесса.

APISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択

Сбалансированная двойная потеря восприятия для анимации

Существует также проблема нежелательных цветовых артефактов, в основном из-за данных во время обучения несоответствие домена между генератором и потерей восприятия.

Чтобы решить эту проблему и компенсировать недостатки предыдущих методов, команда использовала предварительно обученный ResNet, который был обучен решению задачи классификации целей анимации на наборе данных Danbooru. Набор данных Danbooru — это база данных иллюстраций аниме, содержащая большие и насыщенные аннотации. Поскольку эта предварительно обученная сеть представляет собой ResNet50, а не VGG, команда также предложила аналогичное сравнение среднего уровня.

Однако, если вы используете только потери на основе ResNet, вы можете пострадать от плохих визуальных результатов. Это вызвано присущей набору данных Danbooru предвзятостью: большинство изображений в этом наборе данных представляют собой лица или относительно простые. , иллюстрация. Поэтому команда взвесила свое мнение и решила использовать реальные функции в качестве вспомогательного средства для управления потерей восприятия на основе ResNet во время обучения. Этот метод позволяет получить визуально приятное изображение, а также решить проблему нежелательных цветов.

Эксперимент

Детали реализации

В эксперименте команда использовала новый предложенный набор данных API в качестве сети изображений. набор обучающих данных. Что касается сети изображений, используется крошечная версия GRL с ближайшим модулем сверточной повышающей дискретизации.

Более подробную информацию и параметры см. в оригинальной статье.

Сравнение с лучшими на данный момент методами

Команда количественно и качественно сравнила недавно предложенный APISR с некоторыми другими передовыми методами, включая Real-ESRGAN, BSRGAN, RealBasicVSR, AnimeSR. и ВКД-СР.

Количественное сравнение

Как показано в таблице 1, новая модель имеет наименьший размер сети, всего 1,03 млн параметров, но ее производительность по всем показателям превосходит все остальные. , метод.

APISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択

Команда особо подчеркнула роль моделей сжатия, ориентированных на прогнозирование.

Кроме того, следует отметить, что новый метод достигает таких результатов только при сложности обучающей выборки 13,3% и 25% для AnimeSR и VQDSR соответственно. В основном это связано с введением оценки сложности изображения в процесс сортировки набора данных, что может улучшить эффект обучения представлению анимационных изображений путем выбора насыщенных информацией изображений. Более того, благодаря новой модели явной деградации обучение модели деградации не требуется.

Качественное сравнение

Как показано на рисунке 10, визуальное качество, полученное с помощью APISR, намного лучше, чем другие методы.

APISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択

Команда также провела исследование абляции, чтобы проверить эффективность нового набора данных, модели деградации и расчета потерь. Подробности см. в исходном документе.

以上がAPISR、2次元専用の超解像度AIモデル:オンラインで入手可能、CVPRによって選択の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は机器之心で複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
AIインデックス2025を読む:AIはあなたの友人、敵、または副操縦士ですか?AIインデックス2025を読む:AIはあなたの友人、敵、または副操縦士ですか?Apr 11, 2025 pm 12:13 PM

スタンフォード大学ヒト指向の人工知能研究所によってリリースされた2025年の人工知能インデックスレポートは、進行中の人工知能革命の良い概要を提供します。 4つの単純な概念で解釈しましょう:認知(何が起こっているのかを理解する)、感謝(利益を見る)、受け入れ(顔の課題)、責任(責任を見つける)。 認知:人工知能はどこにでもあり、急速に発展しています 私たちは、人工知能がどれほど速く発展し、広がっているかを強く認識する必要があります。人工知能システムは絶えず改善されており、数学と複雑な思考テストで優れた結果を達成しており、わずか1年前にこれらのテストで惨めに失敗しました。 2023年以来、複雑なコーディングの問題や大学院レベルの科学的問題を解決することを想像してみてください

Meta Llama 3.2を始めましょう - 分析VidhyaMeta Llama 3.2を始めましょう - 分析VidhyaApr 11, 2025 pm 12:04 PM

メタのラマ3.2:マルチモーダルとモバイルAIの前進 メタは最近、ラマ3.2を発表しました。これは、モバイルデバイス向けに最適化された強力なビジョン機能と軽量テキストモデルを特徴とするAIの大幅な進歩です。 成功に基づいてo

AVバイト:Meta' s llama 3.2、GoogleのGemini 1.5などAVバイト:Meta' s llama 3.2、GoogleのGemini 1.5などApr 11, 2025 pm 12:01 PM

今週のAIの風景:進歩、倫理的考慮、規制の議論の旋風。 Openai、Google、Meta、Microsoftのような主要なプレーヤーは、画期的な新しいモデルからLEの重要な変化まで、アップデートの急流を解き放ちました

マシンと話すための人的費用:チャットボットは本当に気にすることができますか?マシンと話すための人的費用:チャットボットは本当に気にすることができますか?Apr 11, 2025 pm 12:00 PM

つながりの慰めの幻想:私たちはAIとの関係において本当に繁栄していますか? この質問は、MIT Media Labの「AI(AHA)で人間を進める」シンポジウムの楽観的なトーンに挑戦しました。イベントではCondedgを紹介している間

PythonのScipy Libraryの理解PythonのScipy Libraryの理解Apr 11, 2025 am 11:57 AM

導入 あなたが科学者またはエンジニアで複雑な問題に取り組んでいると想像してください - 微分方程式、最適化の課題、またはフーリエ分析。 Pythonの使いやすさとグラフィックスの機能は魅力的ですが、これらのタスクは強力なツールを必要とします

ラマ3.2を実行する3つの方法-Analytics Vidhyaラマ3.2を実行する3つの方法-Analytics VidhyaApr 11, 2025 am 11:56 AM

メタのラマ3.2:マルチモーダルAIパワーハウス Metaの最新のマルチモーダルモデルであるLlama 3.2は、AIの大幅な進歩を表しており、言語理解の向上、精度の向上、および優れたテキスト生成機能を誇っています。 その能力t

Dagsterでデータ品質チェックを自動化しますDagsterでデータ品質チェックを自動化しますApr 11, 2025 am 11:44 AM

データ品質保証:ダグスターと大きな期待でチェックを自動化する データ駆動型のビジネスにとって、高いデータ品質を維持することが重要です。 データの量とソースが増加するにつれて、手動の品質管理は非効率的でエラーが発生しやすくなります。

メインフレームはAI時代に役割を果たしていますか?メインフレームはAI時代に役割を果たしていますか?Apr 11, 2025 am 11:42 AM

MainFrames:AI革命のUnsung Heroes サーバーは汎用アプリケーションで優れており、複数のクライアントの処理を行いますが、メインフレームは大量のミッションクリティカルなタスク用に構築されています。 これらの強力なシステムは、頻繁にヘビルで見られます

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

VSCode Windows 64 ビットのダウンロード

VSCode Windows 64 ビットのダウンロード

Microsoft によって発売された無料で強力な IDE エディター

SublimeText3 英語版

SublimeText3 英語版

推奨: Win バージョン、コードプロンプトをサポート!

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

mPDF

mPDF

mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)