Chinas Yongle-Palast-Wandgemälde sind bis zu 1.000 Quadratmeter groß. Können sie von KI restauriert werden?

Heutzutage wird künstliche Intelligenz (KI) nicht nur zunehmend in den Bereichen Wissenschaft und Wirtschaft eingesetzt, sondern beginnt auch im Bereich der Kunst Fuß zu fassen.

Während die Menschen von den endlosen KI-Technologien begeistert sind, ist eine neue KI-Technologie zur Wandreparatur entstanden.

Um das Problem der „schwierigen Reparatur“ der Yongle-Palast-Wandgemälde, einem Meisterwerk der alten chinesischen Wandgemälde, zu lösen, Ein Forschungsteam der Shanxi Datong University, der University of Science of Malaysia und der Dali University hat kürzlich ein KI-Modell vorgeschlagen, das dies kann Riesige Wandgemälde reparieren – 3M-Hybrid.

Berichten zufolge verbesserte dieses Modell den Strukturähnlichkeitsindex (SSIM) um 14,61 % bzw. 4,73 im Vergleich zum besten Modell unter vier repräsentativen Convolutional Neural Network (CNN)-Modellen bei der Restaurierung normalgroßer Wandgemälde (% Peak Signal to Noise Ratio). PSNR). Darüber hinaus zeigte es auch bei der Endrestaurierung großer Wandgemälde gute Ergebnisse

Eine entsprechende Forschungsarbeit mit dem Titel „3M Hybrid Model for Unique Giant Mural Restoration of Yongle Palace Murals: A Case Study“ wurde auf der Preprint-Website arXiv veröffentlicht

Was ist die Reparaturmethode für großformatige Wandbilder?

Die Wandgemälde des Yongle-Palastes befinden sich im Yongle-Palast (auch bekannt als Dachunyang Wanshou-Palast) in Ruicheng, Provinz Shanxi. Sein größter künstlerischer Wert sind die exquisiten großformatigen Wandgemälde. Die gesamte Wandfläche beträgt mehr als 1.000 Quadratmeter und ist in der Wuji-Halle, der Sanqing-Halle, der Chunyang-Halle und der Chongyang-Halle gemalt

Als wertvolles kulturelles Erbe stellen die Wandgemälde des Yongle-Palastes künstlerische Meisterwerke in der Geschichte der chinesischen Malerei dar. Aufgrund des langjährigen Mangels an Schutz wurden diese einzigartigen Wandgemälde jedoch stark beschädigt, was ihre Restaurierung zu einer dringenden Aufgabe macht

Im Vergleich zu manuellen Reparaturtechniken sind digitale Reparaturmethoden effizienter und reversibler. Insbesondere die auf Deep Learning basierende Bildreparaturtechnologie hat bemerkenswerte Ergebnisse erzielt. Allerdings „konzentriert sich die Literatur zur Deep-Learning-basierten Wandrestaurierung hauptsächlich auf Dunhuang-Wandgemälde oder andere Wandgemälde in normaler Größe, und es mangelt an Forschung speziell zur Restaurierung von Yongle-Palast-Wandgemälden und ähnlichen riesigen Wandgemälden.“

Im Vergleich zu anderen Studien zur Wandrestaurierung stehen die Restaurierungsarbeiten an den riesigen Yongle-Palast-Wandgemälden vor zwei großen Herausforderungen: 1) Die Yongle-Palast-Wandgemälde sind selten und einzigartig im Stil; 2) Die Wandgemälde sind riesig und die Modelle sind riesig unterschiedlich in der Restaurierung. Begrenzte Kenntnisse über Art und Größe von Defekten.

Bild｜Die Arten und Maßstäbe der unvollständigen Wandgemälde im Yongle-Palast variieren, und auch die tatsächlichen Erscheinungsformen der Unvollständigkeit sind vielfältiger.

Dem Papier zufolge kann das in dieser Studie vorgeschlagene 3M-Hybrid-Modell die Wandgemälde des Yongle-Palastes effektiv reparieren. Unter diesen bezieht sich „3M“ auf die drei Schlüsselstrategien: Multifrequenz, Multiwinkel und Multiskala, während sich „Hybrid“ auf das hybride CNN-VIT-Netzwerk bezieht.

Zuerst teilte das Forschungsteam das riesige Wandgemälde zur Restaurierung in normal große Teile und setzte die restaurierten Teile dann wieder in ihrer ursprünglichen Größe zusammen. Damit das Wandreparaturmodell in normaler Größe verschiedene Arten und Größen von Defekten mit einer begrenzten Menge an Bilddaten effektiv bewältigen kann, wurden bei der Untersuchung zwei Aspekte berücksichtigt: Optimierung der Trainingsdaten und Verbesserung der Modellstruktur.

Um bessere Reparaturergebnisse zu erzielen, nutzt diese Forschung ein unabhängiges Netzwerk, das speziell zum Lernen und Extrahieren von Hochfrequenz- und Niederfrequenzsignalen entwickelt wurde, um das Lernen von Funktionen und die Reparaturfähigkeiten in diesen spezifischen Frequenzbereichen zu verbessern. Mit einer frequenzbasierten Trainingsmethode ist das Modell in der Lage, Fehler unterschiedlichen Ausmaßes und Typs effektiv zu bewältigen

In Bezug auf die Modellstruktur integriert diese Forschung ein Faltungs-Neuronales Netzwerk (CNN) mit einem vorab trainierten visuellen Transformator (VIT), um die Fähigkeit des Modells zur Merkmalsextraktion zu verbessern.

Bei der Reparatur eines riesigen Wandgemäldes stellten wir fest, dass bei der Reparatur übergroßer Defekte einfache Schneidmethoden zu Nahtlücken und Strukturverzerrungen führten. Um dieses Problem zu lösen, wendet unser Forschungsteam eine Multi-Angle-Strategie an, um den Spalt zu verkleinern, und wendet eine Multi-Scale-Reparaturmethode an, indem es Schneid- und Reduziermethoden kombiniert. Auf diese Weise können wir die Genauigkeit der Reparatur sicherstellen und gleichzeitig die Gesamtstruktur des Wandgemäldes extrahieren und so das Problem der mehrdimensionalen Mängel lösen

Aus Sicht der visuellen Leistung zeigt das Modell erhebliche Ergebnisse bei den Reparaturergebnissen von freien staubartigen, freien gelartigen und freien linearen Masken. Darüber hinaus zeigen Reparaturergebnisse an Freiform-Blockmasken den Erhalt der strukturellen Integrität und eine glaubwürdige Textur. 3M-Hybrid-Modelle erwiesen sich als praktikable Methode zur Restaurierung dieser einzigartigen und monumentalen Wandgemälde.

Allerdings ist diese Studie nicht ohne Mängel

Erstens basiert die in der Studie vorgeschlagene Methode auf mehreren Experimenten, um den besten Wert der dreiskaligen Fusionsgewichte auszuwählen. Dieser Ansatz ist jedoch möglicherweise nicht präzise genug, da die Gewichtseinstellungen unzählige Möglichkeiten abdecken und die Anzahl der Experimente begrenzt ist. Daher können auf der Grundlage experimenteller Ergebnisse ermittelte Gewichtswerte nur ein relativ günstiges Endergebnis garantieren.

Zweitens muss Folgendes umgeschrieben werden: Zweitens sind die in der Studie verwendeten Bewertungsindikatoren nicht objektiv genug. Die vier derzeit verwendeten Bewertungsindikatoren können die Struktur des Bildes nicht umfassend bewerten und können in der Regel die menschliche Wahrnehmung und Bewertung des Bildes nicht genau widerspiegeln

Allerdings können wir die Bedeutung dieser Forschung nicht leugnen, die die Anwendung von Deep Learning bei der Restaurierung riesiger Wandgemälde untersucht, wobei ein besonderer Schwerpunkt auf dem Einsatz von Deep-Learning-Technologie zur Restaurierung der Wandgemälde des Yongle-Palastes liegt. Diese Studie stellt den ersten Versuch dar, Deep-Learning-Restaurierungsmethoden für großformatige Kunstwerke zu erforschen

In Bezug auf die Verbesserung des Bildreparaturmodells in herkömmlicher Größe hat diese Forschung es sowohl aus Daten- als auch aus Strukturperspektive umfassend verbessert. Dies liefert neue Erkenntnisse zur Reparatur einzigartiger kleiner Datensätze für zukünftige Forschung

Wir helfen der Menschheit, den Wert kultureller Relikte zu schützen und zu bewahren

In den letzten Jahren haben die Menschen die erstaunliche Integration von Technologie der künstlichen Intelligenz und kulturellen Relikten und Geschichte erlebt

Im Jahr 2020 nutzte ein Weibo-Internetnutzer namens „大谷Spitzer“ KI-Technologie, um die vor 4 Jahren von der People's Daily veröffentlichten Schwarzweißbilddaten von Peking aus dem Jahr 1920 wiederherzustellen und dabei die Kolorierung, die Wiederherstellung der Bildrate und die Auflösungsrate sowie andere Arbeiten abzuschließen .

Im Jahr 2021 arbeitete das Tencent Multimedia Laboratory auch mit dem Dunhuang Research Institute zusammen, um Daten zu Dunhuang-Wandkrankheiten mithilfe von Deep-Learning-Methoden zu analysieren, und entwickelte ein effizientes KI-Tool zur Identifizierung von Wandkrankheiten. Außerdem stellte es eine immersive Fernberatungstechnologie unter Verwendung von 4K-Ultra-Clear-Gemälden bereit Das hochwertige 360-Grad-Bild zeigt die Szene in der Höhle und die Details der Kulturdenkmäler und ermöglicht so eine barrierefreie Fernberatung zu Kulturdenkmälern.

Im Juni dieses Jahres demonstrierte Tencent beim Themenforum „Schutz und Nutzung kultureller Relikte sowie kulturelles Selbstvertrauen und Selbststärke“ in Chengdu, der Heimatstadtveranstaltung des Heritage Day, den Sanxingdui-Kollaborationssimulations-Spleißeffekt mithilfe von KI Technologie.

Die vielen Anwendungen der KI-Technologie im Bereich der Restaurierung kultureller Relikte sind spannend. Wir gehen davon aus, dass die KI-Technologie in Zukunft beim Schutz und der Restaurierung kultureller Relikte weiter voranschreiten wird und den Menschen dabei helfen wird, den Wert kultureller Relikte zu schützen und zu erben.

Das obige ist der detaillierte Inhalt vonChinas Yongle-Palast-Wandgemälde sind bis zu 1.000 Quadratmeter groß. Können sie von KI restauriert werden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!