Entfernen Sie Videoflimmern mit einem Klick. Diese Studie schlägt einen allgemeinen Rahmen vor

In diesem Artikel wird erfolgreich die erste universelle Methode zur Entflimmerung vorgeschlagen, die keine zusätzliche Anleitung oder kein Verständnis des Flackerns erfordert und verschiedene Flackerartefakte beseitigen kann.

Hochwertige Videos sind in der Regel zeitlich konstant, aber viele Videos weisen aus verschiedenen Gründen ein Flackern auf. Beispielsweise kann die Helligkeit alter Filme aufgrund der schlechten Qualität einiger alter Kamerahardware und der Unfähigkeit, die Belichtungszeit für jedes Bild auf die gleiche einzustellen, sehr instabil sein. Darüber hinaus können Hochgeschwindigkeitskameras mit sehr kurzen Belichtungszeiten hochfrequente (z. B. 60 Hz) Änderungen der Innenbeleuchtung erfassen.

Flimmern kann auftreten, wenn Bildalgorithmen auf zeitlich konsistente Videos angewendet werden, beispielsweise effektive Verarbeitungsalgorithmen wie Bildverbesserung, Bildkolorierung und Stilübertragung.

Videos, die mit Videogenerierungsmethoden generiert wurden, können auch Flimmerartefakte enthalten.

Das Entfernen von Flimmern aus Videos ist in den Bereichen Videoverarbeitung und Computerfotografie sehr beliebt, da zeitlich konsistente Videos im Allgemeinen optisch ansprechender sind.

Dieser CVPR 2023-Artikel widmet sich der Erforschung einer universellen Methode zur Flimmerentfernung, die: (1) eine hohe Verallgemeinerung auf verschiedene Flimmermuster oder -niveaus aufweist (z. B. alte Filme, Zeitlupenvideos, die mit Hochgeschwindigkeitskameras aufgenommen wurden), (2) Es ist lediglich ein Flash-Video erforderlich und es sind keine weiteren Zusatzinformationen (z. B. Flash-Typ, zusätzliches zeitkonsistentes Video) erforderlich. Da diese Methode nicht zu viele Annahmen trifft, bietet sie ein breites Spektrum an Anwendungsszenarien.

Code-Link: https://github.com/ChenyangLEI/All-in-one-Deflicker

Projekt-Link: https://chenyanglei.github.io/deflicker

Papier-Link: https:// arxiv.org/pdf/2303.08120.pdf

Methoden

Generische Methoden zur Flimmerentfernung sind eine Herausforderung, da es ohne zusätzliche Anleitung schwierig ist, die zeitliche Konsistenz im gesamten Video durchzusetzen.

Bestehende Techniken entwerfen normalerweise spezifische Strategien für jeden Flimmertyp und nutzen spezifisches Wissen. Beispielsweise können frühere Arbeiten für Zeitlupenvideos, die mit Hochgeschwindigkeitskameras aufgenommen wurden, die Beleuchtungsfrequenzen analysieren. Bei Videos, die von Bildverarbeitungsalgorithmen verarbeitet wurden, kann der Algorithmus für die zeitliche Konsistenz blinder Videos das zeitlich konsistente, unverarbeitete Video als Referenz verwenden, um eine langfristige Konsistenz zu erreichen. Flimmertypen oder unverarbeitete Videos sind jedoch nicht immer verfügbar, sodass vorhandene flimmerspezifische Algorithmen in diesem Fall nicht angewendet werden können.

Eine intuitive Lösung besteht darin, den optischen Fluss zur Verfolgung von Korrespondenzen zu verwenden. Allerdings ist der aus Flimmervideos erhaltene optische Fluss nicht genau genug und der kumulative Fehler des optischen Flusses nimmt mit der Anzahl der Bilder ebenfalls zu.

Durch zwei wichtige Beobachtungen und Entwürfe schlug der Autor erfolgreich eine allgemeine Methode zur Entflimmerung vor, mit der verschiedene Flimmerartefakte ohne zusätzliche Anleitung beseitigt werden können.

Ein gutes Blind-De-Flimmer-Modell sollte in der Lage sein, entsprechende Punkte zwischen allen Videobildern zu verfolgen. Die meisten Netzwerkstrukturen in der Videoverarbeitung können nur eine kleine Anzahl von Frames als Eingabe verarbeiten, was zu einem kleinen Empfangsfeld führt und keine langfristige Konsistenz garantieren kann. Die Forscher stellten fest, dass neuronale Atlanten gut für die Aufgabe der Flimmereliminierung geeignet sind und werden daher neuronale Atlanten für diese Aufgabe einführen. Neuronale Atlanten sind eine einheitliche und prägnante Darstellung aller Pixel in einem Video. Wie in Abbildung (a) gezeigt, sei p ein Pixel, und jedes Pixel p wird in das Kartierungsnetzwerk M eingegeben, das 2D-Koordinaten (up, vp) vorhersagt, die die entsprechende Position des Pixels im Atlas darstellen. Im Idealfall sollten sich entsprechende Punkte zwischen verschiedenen Frames ein Pixel im Atlas teilen, auch wenn die Eingabepixel unterschiedliche Farben haben. Das heißt, dies gewährleistet die zeitliche Konsistenz.

Zweitens ist die Struktur der Bilder zwar konsistent, aber die Struktur der Bilder ist fehlerhaft: Dynamische Objekte mit großer Bewegung können nicht einfach modelliert werden; auch der optische Fluss, der zum Aufbau der Ebenen verwendet wird, ist nicht einfach. Daher schlagen die Autoren eine neuronale Filterstrategie vor, um gute Teile aus fehlerhaften Schichten auszuwählen. Die Forscher trainierten ein neuronales Netzwerk, um Invarianz unter zwei Arten von Verzerrungen zu lernen, die Artefakte in Schichten und Flimmern in Videos simulieren. Im Test funktionierte das Netzwerk gut als Filter, um Konsistenzeigenschaften zu bewahren und Artefakte in fehlerhaften Schichten zu blockieren.

Experiment

Die Forscher erstellten einen Datensatz mit verschiedenen echten Flimmervideos. Umfangreiche Experimente zeigen, dass unsere Methode bei mehreren Arten von Flimmervideos zufriedenstellende Entflimmereffekte erzielt. Der Algorithmus der Forscher übertraf sogar die Basismethoden, indem er zusätzliche Leitlinien zu öffentlichen Benchmarks verwendete.

Der Forscher liefert (a) einen quantitativen Vergleich des verarbeiteten Flimmervideos und des synthetisierten Flimmervideos. Der Verformungsfehler der Methode des Forschers ist viel kleiner als die Basislinie, die Ergebnisse des Forschers sind besser als die Die Daten liegen auch näher am tatsächlichen Wert. Für andere reale Videos lieferte die Studie (b) ein Doppelblindexperiment zum Vergleich, und die meisten Benutzer bevorzugten die Ergebnisse der Forscher.

Wie in der Abbildung oben gezeigt, kann der Forscheralgorithmus sehr gut Flimmern aus dem Eingabevideo entfernen. Beachten Sie, dass die dritte Bildspalte die Ergebnisse der neuronalen Schicht zeigt. Offensichtliche Fehler können beobachtet werden, aber der Algorithmus des Forschers kann seine Konsistenz gut nutzen und die Einführung dieser Fehler vermeiden.

Dieses Framework kann verschiedene Kategorien von Flimmern entfernen, die in alten Filmen und KI-generierten Videos enthalten sind.

Das obige ist der detaillierte Inhalt vonEntfernen Sie Videoflimmern mit einem Klick. Diese Studie schlägt einen allgemeinen Rahmen vor. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!