중국 영락궁 벽화는 1000㎡에 달해 AI로 복원할 수 있을까?

요즘 인공지능(AI)은 과학, 비즈니스 분야에서 활용이 늘어나고 있을 뿐만 아니라, 예술 분야에서도 등장하기 시작하고 있습니다.

사람들이 끝없는 AI 기술에 놀라는 가운데, 새로운 AI 벽화 보수 기술이 등장했습니다.

최근 고대 중국 벽화의 걸작인 영락궁 벽화의 '수리가 어려운' 문제를 해결하기 위해 산시다퉁대학교, 말레이시아 과학대학교, 다리대학교 연구팀이 AI 모델을 제안했습니다. 거대한 벽화 수리 - 3M-Hybrid.

보고에 따르면 이 모델은 일반 크기 벽화 복원에서 대표적인 4가지 CNN(Convolutional Neural Network) 모델 중 가장 좋은 모델과 비교하여 구조적 유사성 지수(SSIM)가 각각 14.61% 및 4.73 향상되었습니다. PSNR). 게다가 대형 벽화의 최종 복원에서도 좋은 결과를 보여줬어요

'영락궁 벽화의 독특한 거대 벽화 복원을 위한 3M 하이브리드 모델: 사례 연구'라는 제목의 관련 연구 논문이 사전 인쇄 웹사이트 arXiv에 게재되었습니다

대형 벽화 보수 방법은 무엇인가요?

영락궁 벽화는 산시성 루이청의 영락궁(다춘양만수궁이라고도 함)에 위치해 있으며, 가장 높은 예술적 가치는 절묘한 대규모 벽화입니다. 전체 벽화 면적은 1,000평방미터가 넘으며 우지홀, 산칭홀, 춘양홀, 청양홀에 그려져 있습니다

귀중한 문화유산인 영락궁 벽화는 중국 회화 역사상 예술적 걸작을 대표합니다. 그러나 장기간의 보호 부족으로 인해 이 독특한 벽화들은 많은 피해를 입어 복원이 시급했습니다

수동 복구 기술에 비해 디지털 복구 방법은 더 효율적이고 되돌릴 수 있습니다. 특히 딥러닝을 기반으로 한 이미지 복구 기술은 놀라운 결과를 얻었습니다. 그러나 딥러닝 기반 벽화 복원에 관한 문헌은 주로 둔황 벽화나 기타 보통 크기의 벽화에 초점을 맞추고 있으며, 특히 영락궁 벽화 및 이와 유사한 대형 벽화의 복원에 대한 연구는 부족합니다.

벽화 복원에 관한 다른 연구와 비교할 때, 거대한 영락궁 벽화의 복원 작업은 두 가지 주요 과제에 직면해 있습니다. : 1) 영락궁 벽화는 희귀하고 스타일이 독특합니다. 2) 벽화의 크기가 거대하고 모델이 다릅니다. 복원이 다름 결함의 유형과 크기에 대한 숙련도가 제한적입니다.

사진｜영락궁 미완벽화의 종류와 규모도 다양하고, 미완성의 실제 발현도 더욱 다양하다.

논문에 따르면, 본 연구에서 제안한 3M-하이브리드 모델은 영락궁 벽화를 효과적으로 수리할 수 있다고 합니다. 그 중 '3M'은 다중 주파수, 다중 각도, 다중 규모의 세 가지 핵심 전략을 의미하고, '하이브리드'는 하이브리드 CNN-VIT 네트워크를 의미합니다.

먼저 연구팀은 복원을 위해 거대한 벽화를 일정한 크기의 부품으로 나눈 후, 복원된 부품을 원래 크기로 다시 조립했습니다. 일반 크기의 벽화 수리 모델이 제한된 양의 이미지 데이터로 다양한 유형과 크기의 결함을 효과적으로 처리할 수 있도록 하기 위해 연구에서는 훈련 데이터 최적화와 모델 구조 개선이라는 두 가지 측면을 고려했습니다.

더 나은 복구 결과를 얻기 위해 이 연구에서는 고주파 및 저주파 신호를 학습하고 추출하여 이러한 특정 주파수 범위에서 기능 학습 및 복구 기능을 향상시키도록 특별히 설계된 독립적인 네트워크를 채택했습니다. 빈도 기반 학습 방법을 사용하면 모델이 다양한 규모와 유형의 결함을 효과적으로 처리할 수 있습니다

모델 구조 측면에서 이 연구는 모델의 특징 추출 기능을 향상시키기 위해 CNN(Convolutional Neural Network)과 사전 훈련된 VIT(Visual Transformer)를 통합합니다.

거대 벽화를 수리하던 중, 크기가 큰 결함을 수리할 때 기본 절단 방법으로 이음새 틈이 생기고 구조적 왜곡이 발생한다는 사실을 발견했습니다. 이 문제를 해결하기 위해 우리 연구팀은 간격을 줄이기 위해 다각도 전략을 채택하고 절단 및 축소 방법을 결합한 다중 규모 수리 방법을 채택합니다. 이런 방식으로 수리의 정확성을 보장하는 동시에 벽화의 전체 구조를 추출하여 다중 규모 결함 문제를 해결할 수 있습니다

시각적 성능 측면에서 본 모델은 Free Dust-like, Free Gel-like 및 Free Linear 마스크의 수리 결과에서 상당한 결과를 보여줍니다. 또한 자유형 블록 마스크의 수리 결과는 보존된 구조적 무결성과 믿을 수 있는 질감을 보여줍니다. 3M-하이브리드 모델은 이러한 독특하고 기념비적인 벽화를 복원하는 데 있어 실행 가능한 방법임이 입증되었습니다.

그러나 이 연구에 단점이 없던 것은 아닙니다

먼저, 연구에서 제안한 방법은 세 가지 규모의 융합 가중치 중 가장 좋은 값을 선택하기 위해 여러 실험에 의존합니다. 그러나 가중치 설정이 수많은 가능성을 포괄하고 실험 횟수가 제한되어 있다는 점을 고려하면 이 접근 방식은 충분히 정확하지 않을 수 있습니다. 따라서 실험 결과를 바탕으로 결정된 가중치 값은 상대적으로 유리한 최종 결과만을 보장할 수 있습니다.

둘째, 다시 작성해야 할 점은 다음과 같습니다. 둘째, 연구에 사용되는 평가 지표가 충분히 객관적이지 않습니다. 현재 사용되는 4가지 평가 지표는 이미지의 구조를 종합적으로 평가하지 못하며 일반적으로 이미지에 대한 인간의 인식과 평가를 정확하게 반영하지 못합니다

그러나 우리는 영락궁 벽화 복원을 위한 딥러닝 기술 사용에 특별히 초점을 맞춰 거대한 벽화 복원에 딥러닝 적용을 탐구하는 이 연구의 중요성을 부인할 수 없습니다. 이 연구는 대규모 예술 작품에 대한 딥 러닝 복원 방법을 탐구하려는 첫 번째 시도를 나타냅니다

본 연구에서는 기존 크기의 이미지 복구 모델을 개선하는 측면에서 데이터 측면과 구조 측면에서 종합적으로 개선했습니다. 이는 향후 연구를 위해 고유한 소규모 데이터 세트를 복구하는 데 대한 새로운 통찰력을 제공합니다

인류가 문화유적의 가치를 보호하고 계승하도록 돕는다

지난 몇 년 동안 사람들은 인공 지능 기술과 문화 유물 및 역사의 놀라운 통합을 목격했습니다

2020년, '大谷Spitzer'라는 웨이보 네티즌은 AI 기술을 이용해 4년 전 인민일보가 공개한 1920년 베이징 흑백 이미지 데이터를 복원해 색상화, 프레임 속도 복원, 해상도 확장 등의 작업을 완료했습니다. .

2021년에도 텐센트 멀티미디어 연구소는 둔황연구소와 협력해 딥러닝 기법을 활용해 둔황 벽화병 데이터를 분석하고, 효율적인 AI 벽화병 식별 도구를 개발했으며, 4K 초선명 회화 A를 활용한 몰입형 원격 상담 기술도 제공했다. 고화질 360도 사진으로 동굴 내부 풍경과 문화재의 세세한 모습을 보여주어 무장애 원격 문화재 상담이 가능합니다.

올해 6월, 문화유산의 날 본거지 행사인 청두에서 열린 '문물 보호 및 활용과 문화적 자신감 및 자력' 주제 포럼에서 텐센트는 AI 기술을 활용한 싼싱두이 인간-기계 협업 시뮬레이션 접합 효과를 시연했습니다. .

문물 복원 분야에 AI 기술이 많이 응용되는 것은 흥미롭습니다. 앞으로는 AI 기술이 문화재 보호와 복원 분야에서 더욱 발전해 인류가 문화재의 가치를 보호하고 계승하는 데 도움이 될 것으로 기대한다.

위 내용은 중국 영락궁 벽화는 1000㎡에 달해 AI로 복원할 수 있을까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!