만자해석의 첫 '얼굴복원' 리뷰! NTU, Sun Yat-sen, Australian National University, Imperial College 등이 공동으로 발표했습니다.

​최근 딥러닝의 발전과 대규모 데이터 세트의 등장으로 딥러닝이 여러 분야에서 발전을 이루었지만 '얼굴 복원' 작업에 대해서는 아직 체계적인 검토가 부족합니다.

최근 난징대학교, 호주국립대학교, 중산대학교, 임페리얼 칼리지 런던, 텐센트 연구진이 딥러닝 기반 얼굴 복원 기술 연구 진행 상황을 종합적으로 검토, 요약하고, 얼굴 복원 방법에 대한 검토를 진행했습니다. 분류, 네트워크 아키텍처, 손실 함수 및 벤치마크 데이터 세트에 대해 논의하고 기존 SOTA 방법의 체계적인 성능 평가를 수행합니다.

논문 링크: https://arxiv.org/abs/2211.02831

저장소 링크: https://github.com/TaoWangzj/Awesome-Face-Restoration

이 글은 사람의 글이기도 합니다. 얼굴 복원 분야의 첫 번째 검토, 주요 기여는 다음과 같습니다.

1. 얼굴 복원 작업에서 주요 저하 모델과 일반적으로 사용되는 평가 지표를 검토하고 얼굴 이미지 돌출성의 특성을 요약했습니다. 2. 안면 복원이 직면한 현재 과제를 요약하고 기존 방법을 분류하고 개괄적으로 설명합니다. 방법에는 주로 두 가지 범주가 있습니다. 사전 기반의 딥 러닝 복원 방법과 사전이 없는 딥 러닝 복원 방법

3 해당 방법에 사용되는 기본 네트워크 아키텍처, 기본 네트워크 모듈, 손실 함수 및 표준 데이터가 분류됩니다.

4. 공개 벤치마크 데이터 세트에서 기존 SOTA 방법에 대한 체계적인 실험 평가를 수행했습니다.

5.

기사의 전체 아키텍처

연구 배경

Face Restoration(FR)은 저수준 시력의 특정 이미지 복원 문제로, 저품질 입력 얼굴에서 얼굴을 복구하는 것을 목표로 합니다. -이미지에서 고품질의 얼굴 이미지가 복구됩니다. 일반적으로 열화 모델은 다음과 같이 설명할 수 있습니다.

여기서 I(lq)는 품질이 낮은 얼굴 이미지이고, D는 잡음과 관련이 없는 열화 함수이며, n은 가산 가우스 잡음입니다. 열화 함수 D가 다른 경우 이는 다른 열화 모델에 해당합니다. 따라서 FR 작업은 위의 열화 모델을 해결하는 역 과정으로 간주할 수 있으며, 이는 다음과 같이 표현될 수 있습니다.

얼굴 복원 작업은 주로 다음과 같이 나눌 수 있습니다. 각각 다른 성능 저하 모델에 해당하는 다음 5가지 범주:

1. 얼굴 노이즈 제거(FDN): 얼굴 이미지의 노이즈를 제거하고 고품질 얼굴 복원

(FDB): 얼굴 이미지의 흐림을 제거하고 고품질 얼굴을 복원합니다.

3. Face Super -Resolution, FSR): 저화질에서 고품질 얼굴을 복구합니다.

4. 얼굴 아티팩트 제거(FAR): 얼굴 이미지 압축 과정에서 나타나는 아티팩트를 제거하고 고품질 얼굴을 복원합니다. 복원(BFR): 알 수 없는 저하된 저품질 얼굴을 복원합니다. 얼굴을 고품질 얼굴로 복원합니다.

얼굴 특징

얼굴 이미지는 강력한 구조적 정보를 가지고 있으므로 얼굴 복원 작업에서 사용할 수 있는 얼굴 이미지의 사전 정보는 얼굴 복원 프로세스를 보조하는 데 사용됩니다.

사전 정보는 크게 세 부분으로 나눌 수 있습니다.

개인의 속성 정보: 아래 그림과 같은 성별, 나이, 안경 착용 여부

개인의 신원 정보: 아래 그림과 같습니다. , 대표 사전에는 얼굴 랜드마크, 얼굴 히트 맵, 얼굴 구문 분석 맵 및 3D 얼굴 사전이 포함됩니다.

얼굴 복원이 직면한 주요 과제

1. .

저화질 얼굴 이미지의 열화 유형과 열화 매개변수를 미리 알 수 없기 때문에 열화된 이미지에서 고품질 얼굴 이미지를 추정하는 것은 잘못된 문제입니다.

반면, 실제 시나리오에서는 얼굴 이미지의 저하가 복잡하고 다양합니다. 따라서 이러한 잘못된 문제를 해결하기 위해 효과적이고 견고한 얼굴 복원 모델을 설계하는 방법은 어렵습니다.

2. 알려지지 않은 얼굴 사전 탐색은 어렵습니다.

기존 얼굴 복원 알고리즘은 얼굴 사전 지식(예: 얼굴 구성 요소 및 얼굴 랜드마크)을 일반적으로 저품질 얼굴 이미지에서 추정하므로 얼굴 사전 지식을 완전히 활용하기 어렵습니다. 이는 얼굴 복원 알고리즘의 성능에 직접적인 영향을 미치는 사전 추정입니다.

실제 장면에서 촬영된 얼굴 이미지에는 복잡하고 다양한 저하 유형이 포함되어 있는 경우가 많으며, 얼굴 복원 과정을 지원하기 전에 적합한 얼굴을 찾는 것이 매우 어렵습니다. 따라서 합리적인 얼굴 사전을 마이닝하는 방법은 어렵습니다.

3. 대규모 공개 벤치마크 데이터 세트가 부족합니다.

딥러닝 기술의 발전으로 딥러닝 기반 방법이 얼굴 복원 분야에서 인상적인 성능을 보여왔습니다. 대부분의 딥러닝 기반 얼굴 복원 방법은 네트워크 훈련을 위해 대규모 데이터 세트에 크게 의존합니다.

그러나 대부분의 최신 얼굴 복원 방법은 일반적으로 비공개 데이터 세트에서 훈련되거나 테스트됩니다. 따라서 현재로서는 기존의 얼굴 복원 방법을 직접적이고 공정하게 비교하는 것이 어렵습니다.

또한 고품질 및 대규모 벤치마크가 부족하여 모델의 잠재력이 제한됩니다. 그러나 아직은 대규모 얼굴 데이터 확보가 어렵기 때문에 얼굴 복원 작업을 위한 합리적인 공개 벤치마크 데이터 세트를 구축하기가 어렵습니다.

4. 얼굴 복원 알고리즘은 실제 시나리오에서 일반화 능력이 제한되어 있습니다.

얼굴 복원에서는 딥 러닝 기반 방법이 좋은 성능을 달성했지만 대부분의 방법은 훈련을 위한 지도 전략에 의존합니다.

즉, 이러한 방법에는 쌍(저품질 및 고품질 이미지 쌍) 데이터 세트가 필요합니다. 이 조건이 충족되지 않으면 성능이 크게 저하됩니다.

반면, 실제 시나리오에서는 쌍을 이루는 샘플로 대규모 데이터 세트를 수집하는 것이 어렵습니다. 따라서 합성 데이터 세트에 대해 훈련된 알고리즘은 실제 시나리오에서 일반화 기능이 약하므로 실제 시나리오에서 모델의 적용 가능성이 제한됩니다. 따라서 실제 시나리오에서 얼굴 알고리즘의 일반화 능력을 향상시키는 방법은 어렵습니다.

얼굴 복원 방법의 요약 및 분류

지금까지 연구자들은 위의 과제를 해결하기 위해 많은 얼굴 복원 알고리즘을 제안했습니다. 아래 그림은 딥러닝 기반 얼굴 복원 방법의 간략한 이정표를 보여줍니다.

그림에서 볼 수 있듯이 딥러닝 기반의 얼굴 복원 방법은 2015년부터 해마다 증가해 왔습니다.

이러한 얼굴 복원 방법은 사전 기반 딥러닝 복원 방법과 비사전 기반 딥러닝 복원 방법의 두 가지 범주로 나뉩니다.

사전 기반의 딥 러닝 복원 방법은 기하학적 사전 기반의 딥 러닝 복원 방법, 참조 사전 기반의 깊이 복원 방법, 생성 사전 기반의 깊이 복원 방법의 세 가지 범주로 나눕니다.

다음은 대표적인 얼굴 복원 알고리즘에 대해 간략하게 소개합니다.

Geometric Prior Based Deep Restoration Methods

이 방법은 주로 이미지 속 얼굴의 고유한 기하학적 모양과 공간적 분포 정보를 사용하여 모델이 점진적으로 고품질의 얼굴을 복원하도록 돕습니다. 일반적인 기하학적 사전 분석에는 얼굴 랜드마크, 얼굴 히트 맵, 얼굴 구문 분석 맵 및 얼굴 구성 요소가 포함됩니다. 대표 작품은 다음과 같습니다.

SuperFAN: 얼굴 초해상도와 얼굴 랜드마크 포지셔닝 작업을 동시에 달성하는 최초의 엔드투엔드 방법입니다.

이 방법의 핵심 아이디어는 모델이 효율적인 얼굴 초해상도 및 얼굴 랜드마크 위치 지정을 달성하도록 지원하기 위해 네트워크가 더 많은 얼굴 기하학적 정보를 학습하도록 안내하는 공동 작업 훈련 전략을 사용하는 것입니다.

MTUN: 두 개의 분기 네트워크를 포함하는 얼굴 복원 방법입니다. 첫 번째 분기 네트워크는 얼굴 이미지의 초해상도를 달성하는 데 사용되고 두 번째 분기는 얼굴 구성의 히트 맵을 추정하는 데 사용됩니다.

이 방법은 저품질 얼굴 이미지에서 얼굴 요소 정보를 사용하면 알고리즘 얼굴 복원 성능을 더욱 향상시킬 수 있음을 보여줍니다.

PSFR-GAN: 다중 규모 프로그레시브 네트워크를 기반으로 한 블라인드 안면 복원 방법입니다. 이 방법의 핵심 아이디어는 다중 스케일 저품질 얼굴 이미지와 인간 파싱 맵을 입력으로 사용하여 의미 인식 스타일 전송을 통해 얼굴의 얼굴 세부 사항을 점진적으로 복원하는 것입니다.

참조 사전 기반 심층 복원 방법

과거의 얼굴 복원 방법은 저하된 이미지에만 의존하여 얼굴 사전을 추정했습니다. 그러나 얼굴 이미지 저하 과정은 일반적으로 매우 병리적이므로 이러한 방법은 정확한 얼굴을 얻을 수 없습니다. 따라서 다른 클래스의 방법은 먼저 추가 고품질 얼굴 이미지를 얼굴 참조로 사용하여 얼굴 구조 또는 얼굴 구성 요소 사전을 얻는다. 대표적인 작업은 다음과 같습니다.

GFRNet: 이 네트워크 모델은 왜곡 안내 정보를 제공하는 왜곡 네트워크(WarpNet)와 재구성 네트워크(RecNet)로 구성됩니다. RecNet은 저품질의 참조 이미지를 왜곡하는 흐름장을 생성하여 얼굴 자세와 표정을 수정합니다. GWAInet: 이 작업은 GFRNet을 기반으로 제안되었으며, GFRNet과 비교하여 적대적 생성 방식으로 훈련됩니다. 훈련 단계에서 얼굴 마커에 의존하지 않습니다. 이 모델은 모델의 견고성을 높입니다.

DFDNet: 이 방법은 먼저 K-평균 알고리즘을 활용하여 지각에 대한 깊은 사전을 생성합니다. 고품질 이미지에서 중요한 얼굴 구성 요소(예: 왼쪽/오른쪽 눈, 코 및 입)를 생성한 다음 생성된 구성 요소 사전에서 가장 유사한 구성 요소 특징을 선택하고 세부 정보를 낮은 품질의 얼굴 이미지로 전송하고 모델이 얼굴을 수행하도록 안내합니다.

Generative Prior Based Deep Restoration Methods)

GAN(Generative Adversarial Networks)의 급속한 발전으로 StyleGAN 및 StyleGAN2와 같은 사전 훈련된 얼굴 GAN 모델이 다음을 제공할 수 있다는 연구 결과가 나왔습니다. 풍부한 얼굴 사전(예: 기하학 및 얼굴 질감)

따라서 연구자들은 얼굴 복원을 위해 GAN에서 생성된 사전 보조 모델을 사용하기 시작했습니다.

PULSE: 이 작업의 핵심은 다음과 같습니다. 출력과 입력 사이의 거리가 임계값 미만이 될 때까지 사전 훈련된 StyleGAN의 잠재 코드를 반복적으로 최적화하여 효율적인 얼굴 초해상도를 가능하게 합니다.

GFP-GAN: 이 작업은 사전 훈련된 풍부하고 다양한 사전 기능을 활용합니다. 실명 모델을 안내하기 위한 생성적 사전 모델인 GAN 모델 이 방법은 주로 저하 제거 모듈과 사전 훈련된 GAN 모델을 기반으로 하는 사전 모듈로 구성됩니다. 이 두 모듈은 잠재 코드 연결을 통해 효율적인 정보 전달을 수행합니다. 여러 채널 분할 공간 특징 변환 레이어

GPEN: 이 방법의 핵심 아이디어는 GAN과 DNN의 다양한 프레임워크의 장점을 효과적으로 통합하여 효율적인 얼굴 복원을 달성하는 것입니다. GPEN은 먼저 고품질 얼굴 이미지를 생성하기 위한 GAN 모델을 학습한 다음 이 사전 훈련된 GAN 모델을 사전 디코더로 심층 합성곱 네트워크에 삽입하고 마지막으로 얼굴 인식 복구를 달성하기 위해 심층 합성곱 네트워크를 미세 조정합니다.

Non-prior Based Deep Restoration Methods: (Non-prior Based Deep Restoration Methods)

딥러닝을 기반으로 한 대부분의 얼굴 복원 방법은 얼굴 이전 얼굴의 도움으로 만족스러운 사람을 복원할 수 있지만 얼굴에 의존합니다. 이전에는 얼굴 이미지 생성 비용이 다소 악화되었습니다.

이 문제를 해결하기 위해 또 다른 방법은 추가적인 얼굴 이미지 테스트를 도입하지 않고 저품질 얼굴 이미지와 고품질 얼굴 이미지 간의 매핑 기능을 직접 학습하는 엔드투엔드 네트워크 모델을 설계하는 것을 목표로 합니다. 대표 작품은 다음과 같습니다:

BCCNN: 얼굴 초해상도를 위한 2채널 컨벌루션 신경망 모델. 특징 추출기와 이미지 생성기로 구성됩니다. 특징 추출기는 저해상도 얼굴 이미지에서 강력한 얼굴 표현을 추출하고, 이미지 생성기는 추출된 얼굴 표현을 입력 얼굴과 적응적으로 일치시킵니다. 이미지를 융합하여 고해상도 이미지를 생성합니다. .

HiFaceGAN: 이 방법은 얼굴 복원 문제를 의미 기반 생성 문제로 변환하고 얼굴 복원을 달성하도록 HifaceGAN 모델을 설계합니다. 이 네트워크 모델은 여러 협력 억제 모듈과 보충 모듈을 포함하는 다단계 프레임워크입니다. 이 구조적 설계는 퇴보된 사전 변수 또는 훈련 구조에 대한 모델의 의존성을 줄입니다.

RestoreFormer: Transformer 기반의 엔드투엔드 얼굴 복원 방법입니다. 상황별 정보를 모델링하기 위한 전체 공간 주의 메커니즘을 주로 탐구합니다.

이 방법의 핵심 아이디어는 크게 두 가지입니다. 첫 번째는 손상된 쿼리와 고품질 키-값 쌍 간의 전체 공간 상호 작용을 학습하기 위해 다중 헤드 교차 주의 계층을 제안하는 것입니다. 두 번째 요점은 어텐션 메커니즘의 키-값 쌍이 고품질 얼굴 특징이 포함된 고품질 사전에서 샘플링된다는 것입니다.

아래 그림은 최근 딥러닝 기반의 얼굴 복원 방법의 특징을 종합적으로 정리한 것입니다.

여기서 Plain은 Non-Prior 기반 깊이 복원 방법을 나타내고, Facial Component와 Geometry Prior는 두 가지 유형의 기하학적 사전 기반 깊이 복원 방법을 나타내며, Reference Prior는 참조 사전 기반 깊이를 나타냅니다. 복원 방법(Restoration method), 생성 사전(Generativeprior)은 비사전 기반 심층 복원 방법을 의미하고, Deep CNN, GAN, ViT는 각각 모델이 심층 합성곱 신경망(Deep Convolutional Neural Network), 생성적 적대 네트워크(Generative Adversarial Network) 및 Visual Transformer 네트워크 구조를 사용함을 의미합니다.

기술 개발 검토

이 섹션에서는 딥러닝 기반 얼굴 복원 방법의 기술 개발 과정을 종합적으로 검토합니다. 주로 네트워크 모델의 기본 아키텍처, 기본 사용법 측면에서 요약하고 분석합니다. 모델에서 사용되는 모듈, 손실 함수, 얼굴 관련 벤치마크 데이터 세트입니다.

네트워크 아키텍처

기존 딥러닝 기반 얼굴 복원 방법의 네트워크 아키텍처는 크게 사전 지침 기반 방법, GAN 네트워크 구조 기반 방법, ViT 네트워크 구조 기반 방법의 세 가지 범주로 구분됩니다. 방법. 따라서 우리는 이 섹션에서 이러한 개발에 대해 논의합니다.

사전 지침에 따른 방법

이런 유형의 방법은 크게 4가지 유형으로 나눌 수 있는데, 즉 사전 사전 기반 얼굴 복원 방법(사전 사전 얼굴 복원 방법), 공동 사전 추정 및 얼굴 복원 방법(공동 사전 얼굴 복원 방법), 중간 사전 기반 얼굴 복원 방법(사전 사전 얼굴 복원 방법), 참조 사전 기반 얼굴 복원 방법(참조-우선 얼굴 복원 방법) .

위 네 가지 방법의 간결한 구조도는 다음과 같습니다.

사전 사전 기반 얼굴 복원 방법은 일반적으로 먼저 사전 추정 네트워크(예: 얼굴 사전 추정 네트워크 또는 사전 훈련)를 사용합니다. 얼굴 GAN 모델)은 낮은 품질의 입력 이미지에서 얼굴 사전을 추정한 다음 네트워크를 활용하여 얼굴 사전과 얼굴 이미지를 사용하여 고품질 얼굴을 생성합니다.

일반적인 방법은 아래 그림과 같습니다. 연구원들은 입력된 블러링된 얼굴 이미지에서 먼저 얼굴 의미 라벨을 추출한 다음 블러링된 이미지와 얼굴 의미 라벨을 디블러링 알고리즘에 입력하는 얼굴 구문 분석 네트워크를 설계했습니다. 동시에 네트워크를 통해 선명한 얼굴 이미지를 생성합니다.

공동 사전 추정 및 얼굴 복원 방법은 주로 얼굴 사전 추정 작업과 얼굴 복원 작업 간의 보완 관계를 탐색합니다. 이러한 유형의 방법은 일반적으로 얼굴 복원 네트워크와 사전 추정 네트워크를 공동으로 훈련하므로 이 유형의 방법은 두 하위 작업의 장점을 고려하여 얼굴 복원 작업의 성능을 직접적으로 향상시킬 수 있습니다.

대표적인 방법은 아래 그림과 같습니다. 연구진은 얼굴 정렬과 얼굴 초해상도를 결합한 네트워크 모델을 제안했습니다. 이 방법은 얼굴의 랜드마크 위치와 초해상도 얼굴 이미지를 공동으로 추정합니다.

중간 사전 기반 얼굴 복원 방법의 핵심 아이디어는 먼저 복원 네트워크를 사용하여 대략적인 얼굴 이미지를 생성한 다음 대략적인 이미지에서 얼굴 사전 정보를 추정하는 것입니다. , 이는 직접 입력되는 것보다 더 효율적이며 입력된 저화질 영상에서 더 정확한 사전 정보를 얻을 수 있습니다.

대표적인 방법은 아래 그림과 같습니다. 연구진은 네트워크 중간에서 얼굴 사전 추정을 수행하는 FSRNet 네트워크 모델을 제안했습니다.

구체적으로 FSRNet은 먼저 거친 SR 네트워크를 사용하여 이미지를 대략적으로 복원한 다음 정밀한 SR 인코더와 사전 추정 네트워크를 사용하여 대략적인 결과 이미지에 대한 사전 추정 및 개선을 수행하고 최종적으로 이미지를 개선합니다. 및 사전 정보가 정밀한 SR 디코더에 동시에 입력되어 최종 결과를 복구합니다.

GAN 네트워크 구조에 기반한 방법

이 유형의 방법은 크게 두 가지 유형으로 나뉩니다: 일반 GAN 아키텍처(Plain GAN 방법) 기반 방법 및 GAN 기반 방법 사전 훈련된 GAN 임베디드 구조 방법(Pre-trained GAN 임베딩 방법).

이 두 가지 방법의 간결한 구조 다이어그램은 다음과 같습니다.

일반적인 GAN 아키텍처를 기반으로 하는 방법은 일반적으로 네트워크 모델에 적대적 손실을 도입한 다음 적대적 학습 전략을 사용하여 판별기와 생성기(얼굴 복원 네트워크)를 공동으로 최적화하여 보다 사실적인 얼굴 이미지를 생성합니다.

​일반적인 방법은 아래 그림과 같습니다. 연구원들은 두 개의 생성적 적대 네트워크로 구성된 HLGAN 네트워크 모델을 제안했습니다.

첫 번째는 고해상도 이미지의 저하 과정을 학습하기 위해 페어링되지 않은 이미지를 훈련에 사용하는 High-to-Low GAN 네트워크입니다. 첫 번째 네트워크의 출력(예: 저해상도 얼굴 이미지)은 두 번째 Low-to-High GAN 네트워크를 훈련하여 얼굴 초해상도를 달성하는 데 사용됩니다.

사전 훈련된 GAN 임베디드 구조를 기반으로 한 방법의 핵심 아이디어는 사전 훈련된 얼굴 GAN 모델(예: StyleGAN)의 잠재 사전성을 활용한 다음 이를 융합하는 것입니다. 이 과정에서 잠재적인 사전 및 적대적 학습 전략의 도움으로 효율적인 얼굴 복원이 달성됩니다.

일반적인 방법은 아래 그림에 나와 있습니다. 연구원들은 GFP-GAN 모델을 설계했습니다. 이 모델에는 주로 사전 훈련된 GAN 모델을 기반으로 하는 Priori 모듈이 포함되어 있습니다. 효율적인 정보 전송을 위한 코드 및 여러 채널 분할 공간 특징 변환 레이어.

ViT 네트워크 구조 기반 방법

최근 ViT(Visual Transformer) 네트워크 아키텍처는 자연어 처리, 컴퓨터 비전 등의 분야에서 뛰어난 성능을 보여주었고 이는 Transformer에도 영감을 주었습니다. 복원 작업에 아키텍처를 적용합니다.

대표적인 방법은 아래 그림과 같습니다. 연구진은 Swin Transformer를 기반으로 얼굴 복원을 위한 STUNet(End-to-End Swin Transformer U-Net) 네트워크를 제안했습니다.

STUNet에서 변압기 모듈은 self-attention 메커니즘과 Shift Window 전략을 사용하여 모델이 얼굴 복원에 도움이 되는 더 중요한 기능에 집중할 수 있도록 돕습니다.

네트워크 모델에서 일반적으로 사용되는 모듈

얼굴 복원 분야에서 연구자들은 강력한 얼굴 복원 네트워크를 구축하기 위해 다양한 유형의 기본 모듈을 설계했습니다. 일반적으로 사용되는 기본 모듈은 아래 그림과 같습니다. 이러한 기본 모듈에는 주로 잔여 모듈(Residual Block), 밀도 모듈(Dense Block), 주의 모듈(채널 주의 블록, 잔여 채널 주의 블록, 공간 주의 블록) 및 변환기 모듈이 포함됩니다. (변압기 블록).

손실 함수

얼굴 복원 작업의 일반적인 손실 함수에는 주로 다음 범주가 포함됩니다: 픽셀 단위 손실(주로 L1 및 L2 손실 포함), 지각 손실, 적대적 손실, 얼굴별 손실 손실. 다양한 얼굴 복원 방법과 이들이 사용하는 손실 함수는 다음 표에 요약되어 있습니다.

Dataset

얼굴 복원 작업과 관련된 공개 데이터 세트 및 관련 통계 정보는 다음과 같이 요약됩니다. 다음:

성능 비교

이 문서에서는 PSNR/SSIM/MS-SSIM/LPIPS/NIQE

측면에서 일부 대표적인 얼굴 복원 방법의 성능을 요약하고 테스트합니다.

정량적 결과 비교​

정성적 결과 비교

방법 복잡성 비교

향후 개발 방향

딥러닝 기반이기는 하지만 페이스 복원 방법은 어느 정도 진전을 이루었지만 여전히 해결해야 할 과제와 해결되지 않은 문제가 많습니다.

네트워크 구조 설계

딥러닝 기반의 얼굴 복원 방법에서는 네트워크 구조가 방법의 성능에 큰 영향을 미칠 수 있습니다.

예를 들어, 최근 Transformer 기반 방법은 Transformer 아키텍처의 강력한 기능으로 인해 더 나은 성능을 보이는 경우가 많습니다. GAN 기반 방법은 시각적으로 더욱 만족스러운 얼굴 이미지를 생성할 수 있습니다.

따라서 네트워크를 설계할 때 CNN, GAN, ViT와 같은 다양한 구조에서 배우고 연구할 가치가 있습니다.

반면에 최근 Transformer 기반 모델은 일반적으로 더 큰 매개변수를 포함하고 더 높은 계산 비용이 필요하므로 엣지 장치에 배포하기가 어렵습니다.

따라서 강력한 성능을 갖춘 경량 네트워크를 설계하는 방법은 향후 작업의 또 다른 잠재적인 연구 방향입니다.

얼굴 사전과 네트워크의 융합

특정 분야의 이미지 복원 작업으로 얼굴 특징을 얼굴 복원 작업에 사용할 수 있습니다. 모델을 디자인할 때 많은 방법은 현실적인 얼굴 세부 정보를 복구하기 위해 이전 얼굴을 활용하는 것을 목표로 합니다.

일부 방법에서는 얼굴 복원 프로세스에 기하학적 사전, 얼굴 구성 요소, 생성 사전 또는 3D 사전을 도입하려고 시도하지만 사전 정보를 네트워크에 보다 합리적으로 통합하는 방법은 이 작업 방향에서 여전히 유망한 작업입니다.

또한 사전 훈련된 GAN의 사전 정보나 네트워크의 데이터 통계와 같은 새로운 얼굴 관련 사전 정보를 추가로 마이닝하는 것도 이 작업의 또 다른 방향입니다.

손실 함수 및 평가 지수

얼굴 복원 작업에서 널리 사용되는 손실 함수는 표 3과 같이 L1 손실, L2 손실, 지각 손실, 적대적 손실 및 얼굴 특정 손실입니다.

기존 방법은 일반적으로 단일 손실 함수를 사용하지 않고 여러 손실 함수를 해당 가중치와 결합하여 모델을 학습합니다. 그러나 모델 훈련을 안내하기 위해 보다 합리적인 손실 함수를 설계하는 방법은 불분명합니다.

따라서 앞으로는 얼굴 복원 작업의 발전을 촉진하기 위해 보다 정확한 손실 함수(예: 범용 또는 얼굴 작업 중심 손실 함수)를 찾는 연구가 더 많아질 것으로 예상됩니다. 또한 손실 함수는 모델 평가 결과에 직접적인 영향을 미칠 수 있습니다. 표 5, 6, 7에서 볼 수 있듯이 PSNR, SSIM 및 MS-SSIM 측면에서 L1 손실과 L2 손실이 더 나은 결과를 얻는 경향이 있습니다.

지각적 손실과 적대적 손실은 더 만족스러운 결과를 생성하는 경향이 있습니다(예: 높은 LPIPS, FID 및 NIQE 값 생성). 따라서 모델 성능을 보다 합리적으로 평가하기 위해 인간과 기계 측면을 모두 고려할 수 있는 지표를 어떻게 개발할 것인지도 앞으로 매우 중요한 방향입니다.

계산 오버헤드

기존 얼굴 복원 방법은 일반적으로 모델의 계산 비용을 무시하면서 네트워크의 깊이나 너비를 크게 늘려 복원 성능을 향상시킵니다.

계산 비용이 많이 들기 때문에 모바일이나 임베디드 장치와 같이 리소스가 제한된 환경에서는 이러한 방법을 사용할 수 없습니다.

예를 들어, 표 8에 표시된 것처럼 최첨단 방법인 RestoreFormer는 72.37M 매개변수와 340.80G MAC의 계산량을 가지고 있어 실제 애플리케이션에 배포하기가 매우 어렵습니다. 따라서 계산 비용이 적게 드는 모델을 개발하는 것이 미래의 중요한 방향입니다.

Benchmark Dataset

이미지 디블러링, 이미지 노이즈 제거, 이미지 디헤이징 등 다른 낮은 수준의 시력 작업과 달리 얼굴 복원에 대한 표준 평가 벤치마크는 거의 없습니다.

예를 들어 대부분의 얼굴 복원 방법은 일반적으로 개인 데이터세트(FFHQ의 합성 훈련 세트)에서 실험됩니다.

연구원은 자신이 제안한 방법에 편향된 데이터를 사용하려는 유혹을 받을 수 있습니다. 반면, 공정한 비교를 위해서는 후속 작업에서 비공개 데이터 세트를 합성하고 다른 비교 방법을 재교육하는 데 많은 시간이 필요합니다. 게다가 최근 널리 사용되는 데이터 세트는 크기가 작아 딥러닝 방법에 적합하지 않은 경우가 많습니다.

따라서 표준 벤치마크 데이터 세트를 개발하는 것은 얼굴 복원 작업의 한 방향입니다. 앞으로는 커뮤니티의 연구자들이 더 많은 표준 및 고품질 벤치마크 데이터 세트를 구축할 것으로 기대합니다.

동영상 얼굴 복원

휴대폰, 카메라 등 모바일 기기의 대중화로 인해 동영상 얼굴 복원 작업이 점점 더 중요해지고 있습니다. 그러나 기존 작업은 주로 이미지 얼굴 복원 작업에 집중되어 있는 반면, 영상 관련 얼굴 복원 작업은 덜 일반적입니다.

한편, 비디오 디블러링, 비디오 초해상도, 비디오 노이즈 제거와 같은 기타 낮은 수준의 시력 작업은 최근 몇 년 동안 빠르게 발전했습니다.

따라서 영상 얼굴 복원은 커뮤니티의 잠재적인 방향입니다. 영상 얼굴 복원 작업은 다음 두 가지 측면에서 고려될 수 있다.

먼저 벤치마크 데이터 세트의 경우 이 작업을 위한 고품질 비디오 데이터 세트 구축을 고려할 수 있습니다. 이를 통해 비디오 관련 알고리즘의 설계 및 평가를 신속하게 촉진할 수 있으며 이는 얼굴 복원 커뮤니티 발전에 도움이 됩니다.

둘째, 비디오 복원 방법에서는 연속된 비디오 프레임 간의 공간적, 시간적 정보를 충분히 고려하여 비디오 기반 얼굴 복원 방법을 개발해야 합니다.

실제 얼굴 복원 및 응용

기존 방법은 합성 데이터를 사용하여 네트워크 모델을 훈련합니다. 그러나 훈련된 네트워크는 실제 시나리오에서 반드시 좋은 일반화 능력을 보여주지는 않습니다.

그림 19에서 볼 수 있듯이 대부분의 얼굴 복원 방법은 실제 얼굴 이미지를 마주할 때 제대로 수행되지 않습니다. 합성 데이터와 실제 데이터 사이에는 데이터 도메인 격차가 크기 때문입니다.

비지도 기술이나 실제 이미지 저하 기술 학습과 같은 일부 방법에서는 이 문제를 해결하기 위한 몇 가지 솔루션을 도입했습니다. 그러나 그들은 여전히 ​​모든 이미지가 유사한 품질 저하를 겪는다는 몇 가지 특정 가정에 의존하고 있습니다.

따라서 실제 적용은 얼굴 복원 작업에 있어 여전히 어려운 방향으로 남아 있습니다.

또한 일부 방법에서는 얼굴 복원이 얼굴 확인 및 얼굴 인식과 같은 후속 작업의 성능을 향상시킬 수 있음을 보여주었습니다. 그러나 얼굴 복원 작업과 이러한 작업을 프레임워크 내에서 어떻게 결합할 것인지도 향후 연구 방향이다.

기타 관련 작업

위에서 설명한 얼굴 복원 작업 외에도 얼굴 수정, 사진 스케치 합성, 대면 번역, 사람 얼굴 복원 등 얼굴 복원과 관련된 작업이 많이 있습니다. , 색상 향상 및 오래된 사진 복원.

예를 들어 얼굴 복원은 매칭이나 학습을 통해 얼굴 이미지에서 누락된 부분을 복원하는 것을 목표로 합니다. 누락된 얼굴 구성 요소에 대해 의미론적으로 새 픽셀을 생성해야 할 뿐만 아니라 얼굴 구조와 모양의 일관성도 유지해야 합니다. 오래된 사진 복원은 품질 저하가 매우 다양하고 복잡한(예: 노이즈, 흐림, 페이딩) 오래된 사진을 복원하는 작업입니다.

또한 일부 작업은 얼굴 복원 작업과 달리 대면 번역, 표정 분석 등 얼굴 스타일 전달에 중점을 둡니다.

따라서 기존의 얼굴 복원 방법을 이러한 관련 작업에 적용하는 것도 유망한 방향이며 더 많은 적용을 촉발할 수 있습니다.

참고자료: https://arxiv.org/a​bs/2211.02831​

위 내용은 만자해석의 첫 '얼굴복원' 리뷰! NTU, Sun Yat-sen, Australian National University, Imperial College 등이 공동으로 발표했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!