클릭 한 번으로 잡티와 주름을 지운다: 다모아카데미의 고화질 인물 피부 미용 모델 ABPN에 대한 심층 해석

디지털 문화 산업의 급성장과 함께 인공지능 기술이 이미지 편집 및 미화 분야에서도 널리 활용되기 시작했습니다. 그중 인물 피부 미화는 의심할 여지 없이 가장 널리 사용되고 가장 요구되는 기술 중 하나입니다. 전통적인 뷰티 알고리즘은 필터 기반 이미지 편집 기술을 사용하여 자동화된 피부 재생 및 잡티 제거 효과를 달성하며 소셜 네트워킹, 라이브 방송 및 기타 시나리오에서 널리 사용되었습니다.

그러나 임계값이 높은 전문 사진 산업에서는 이미지 해상도 및 품질 표준에 대한 높은 요구 사항으로 인해 수동 리터처가 여전히 피부 매끄럽게 하기, 잡티 제거, 미백 등 인물 피부 리터칭의 주요 생산성을 차지하고 있습니다. 일련의 다른 작업. 일반적으로 전문 리터처가 고화질 인물 사진에 피부 미화 작업을 수행하는 데 걸리는 평균 처리 시간은 1~2분입니다. 더 높은 정확도가 요구되는 광고, 영화, TV 등의 분야에서는 처리 시간이 더 길어집니다.

인터랙티브 엔터테인먼트 장면의 피부 재포장과 비교할 때, 광고 수준 및 스튜디오 수준의 세련된 피부 미화는 알고리즘에 대한 더 높은 요구 사항과 과제를 가져옵니다. 한편으로는 여드름, 여드름 자국, 주근깨, 고르지 못한 피부톤 등 다양한 유형의 잡티가 있습니다. 다른 한편으로는 잡티를 제거하는 과정에서 알고리즘이 다양한 잡티를 적응적으로 처리해야 합니다. 피부는 가능한 한 많이 보존되어야 하고, 질감이 유지되어야 하며, 고정밀 피부 수정이 필요합니다. 마지막으로, 사진 장비의 지속적인 반복으로 인해 전문 사진에서 일반적으로 사용되는 이미지 해상도는 4K 또는 심지어 8K에 도달했습니다. 알고리즘의 처리 효율성에 큰 문제가 있습니다.

따라서 전문가 수준의 지능형 피부 미화 달성을 기점으로 피부 미화와 의복 주름 제거에 모두 구현된 고화질 이미지를 위한 초미세 로컬 리터칭 알고리즘 ABPN 세트를 개발했습니다. 매우 선명한 이미지로 작업할 수 있습니다. 매우 좋은 결과와 응용 프로그램을 제공합니다.

• 종이: https://openaccess.thecvf.com/content/CVPR2022/papers/Lei_ABPN_Adaptive_Blend_Pyramid_Network_for_Real-Time_Local_Retouching_of_CVPR_2022_paper.pdf
• 모델 및 코드: https://www.modelscope .c n/모델/damo/ cv_unet_skin-retouching/summary

관련 연구

3.1 전통 미용 알고리즘

전통 미용 알고리즘의 핵심은 피부 부위의 픽셀을 매끄럽게 만들어 결점의 눈에 띄지 않는 부분을 줄여, 피부가 더 부드러워 보입니다. 일반적으로 기존 미화 알고리즘은 1) 이미지 필터링 알고리즘, 2) 이미지 융합, 3) 선명화의 세 단계로 나눌 수 있습니다. 전체 프로세스는 다음과 같습니다.

이미지의 가장자리를 유지하면서 피부 영역을 부드럽게 하기 위해 기존 뷰티 알고리즘은 먼저 가장자리 보존 필터(양방향 필터링, 안내 필터링 등)를 사용합니다. 등) 이미지를 처리합니다. 일반적으로 사용되는 평균 필터 및 가우시안 필터와 달리 가장자리 보존 필터는 서로 다른 영역의 픽셀 값 변화를 고려하고 픽셀 변화가 큰 가장자리 부분과 중간 영역의 픽셀에 대해 서로 다른 가중치를 채택합니다. 부드러운 변화로 인해 이미지 가장자리가 확보됩니다. 그런 다음 배경 영역에 영향을 주지 않기 위해 일반적으로 분할 감지 알고리즘을 사용하여 피부 영역을 찾고 원본 이미지와 스무딩된 이미지의 융합을 안내합니다. 마지막으로, 선명하게 하면 가장자리의 두드러짐과 감각적 선명도가 더욱 향상될 수 있습니다. 다음 그림은 현재의 전통적인 뷰티 알고리즘의 효과를 보여줍니다.

원본 이미지는 unsplash [31]

효과 관점에서 볼 때 두 가지 주요 문제점이 있습니다. 전통적인 미용 알고리즘: 1) 결함 처리는 비적응적이며 다양한 유형의 결함을 잘 처리할 수 없습니다. 2) 스무딩 처리로 인해 피부결과 질감이 손실됩니다. 이러한 문제는 고화질 이미지에서 특히 두드러집니다.

3.2 기존 딥러닝 알고리즘

피부의 다양한 부위와 결점에 대한 적응적 수정을 달성하기 위해서는 데이터 기반 딥러닝 알고리즘이 더 나은 솔루션인 것 같습니다. 작업의 관련성을 고려하여 기존의 4가지 방법인 이미지 대 이미지 변환, 사진 리터칭, 이미지 인페인팅, 고해상도 이미지 편집의 피부 미화 작업에 대한 적용 가능성을 논의하고 비교했습니다.

• 3.2.1 이미지-이미지 변환

이미지-이미지 변환 작업은 원래 pix2pix[1]에 의해 정의되었으며, 이는 수많은 컴퓨터 비전 작업을 픽셀 간 예측으로 요약합니다. 이러한 유형의 문제를 해결하기 위해 조건부 생성 적대 네트워크를 기반으로 한 일반 프레임워크가 제안되었습니다. pix2pix[1]를 기반으로 paired 이미지를 사용하는 방법[2, 3, 4, 5]과 unpaired 이미지를 사용하는 방법[6,7,8,9]을 포함하여 이미지 변환 문제를 해결하기 위한 다양한 방법이 제안되었습니다. 일부 작업은 특정 이미지 번역 작업(예: 의미론적 이미지 합성 [2, 3, 5], 스타일 전송 등 [9, 10, 11, 12])에 중점을 두고 인상적인 결과를 얻었습니다. 그러나 위 이미지 번역의 대부분은 주로 이미지를 이미지로 전체적으로 변환하는 데 중점을 두고 있으며 국소적인 영역에 대한 관심이 부족하여 피부 미화 작업의 성능이 제한됩니다.

• 3.2.2 사진 리터칭

Deep Convolutional Neural Network의 발전에 힘입어 학습 기반 방법[13,14,15,16]이 최근 사진 리터칭 분야에서 우수한 결과를 보여왔습니다. 연령. 그러나 대부분의 이미지 변환 방법과 유사하게 기존 리터칭 알고리즘은 주로 색상, 조명, 노출 등과 같은 이미지의 일부 전반적인 속성을 조작하는 데 중점을 둡니다. 국소적인 영역의 리터칭에는 거의 관심을 기울이지 않으며, 피부 리터칭은 바로 로컬 리터칭 작업(로컬 사진 리터칭)으로, 배경 영역을 변경하지 않고 대상 영역을 리터칭해야 합니다.

• 3.2.3 이미지 인페인팅

이미지 인페인팅 알고리즘은 종종 이미지의 누락된 부분을 완성하는 데 사용되며 피부 미화 작업과 매우 유사합니다. 강력한 기능 학습 기능을 갖춘 심층 생성 네트워크[17, 18, 19, 20]를 기반으로 한 방법은 최근 몇 년 동안 인페인팅 작업에서 큰 진전을 이루었습니다. 그러나 인페인팅 방법은 대상 영역의 마스크를 입력으로 사용하며, 피부 미화 및 기타 국소 수정 작업에서는 정확한 대상 영역 마스크를 얻는 것 자체가 매우 어려운 작업입니다. 따라서 대부분의 이미지 인페인팅 작업은 피부 미화에 직접적으로 사용될 수 없습니다. 최근 몇 년 동안 일부 블라인드 이미지 인페인팅 방법[21, 22, 23]은 마스크에 대한 의존성을 없애고 대상 영역의 자동 감지 및 완성을 달성했습니다. 그럼에도 불구하고 대부분의 다른 이미지 인페인팅 방법과 마찬가지로 이 방법에도 두 가지 문제가 있습니다. a) 대상 영역의 질감 및 의미 정보를 완전히 활용하지 못하고 b) 계산량이 많고 초고해상도 이미지에 적용하기 어렵다는 점입니다.

• 3.2.4 고해상도 이미지 편집

고해상도 이미지 편집을 달성하기 위해 [15, 24, 25, 26]과 같은 방법은 주요 계산 작업량을 고해상도에서 이전합니다. 해상도 이미지를 저해상도 이미지로 변환하여 공간과 시간의 부담을 줄입니다. 효율성 측면에서 뛰어난 성능을 달성했음에도 불구하고 이러한 방법의 대부분은 국소적인 부분에 대한 관심이 부족하여 피부 미화와 같은 국소 수정 작업에는 적합하지 않습니다. 정리하자면, 기존의 딥러닝 방법은 대부분 피부 미용 작업에 직접 적용하기 어렵습니다. 주된 이유는 국소적인 영역에 대한 주의력이 부족하거나 많은 양의 계산이 필요하고 고해상도 이미지에 적용하기 어렵기 때문입니다.

적응형 블렌딩 피라미드를 기반으로 한 로컬 리터칭 프레임워크

피부 미용의 본질은 이미지 편집에 있습니다. 대부분의 다른 이미지 변환 작업과 달리 이 편집은 로컬입니다. 비슷한 작업으로는 옷의 주름 제거, 제품 개조 등이 있습니다. 이러한 유형의 로컬 이미지 리터칭 작업은 강한 공통점을 가지고 있습니다. 우리는 세 가지 주요 어려움과 과제를 요약합니다. 1) 대상 영역의 정확한 위치 지정. 2) 전역적 일관성과 세부 충실도를 갖춘 로컬 생성(수정). 3) 초고해상도 이미지 처리. 이를 위해 우리는 Adaptive Blend Pyramid(ABPN: Adaptive Blend Pyramid Network for Real-Time Local Retouching of Ultra High-Resolution Photo, CVPR2022,[27])를 기반으로 하는 로컬 리터칭 프레임워크를 제안합니다. 이미지 리터칭에 대한 구현 세부 사항을 아래에서 소개하겠습니다.

4.1 전체 네트워크 구조

위 그림에서 볼 수 있듯이 네트워크 구조는 주로 상황 인식 로컬 수정 계층(LRL)과 적응형 혼합 ​​피라미드 계층(BPL)의 두 부분으로 구성됩니다. LRL의 목적은 다운샘플링된 저해상도 영상을 국부적으로 수정하고 전역 컨텍스트 정보와 국부적 텍스처 정보를 충분히 고려하여 저해상도 수정 결과 영상을 생성하는 것입니다. 또한 BPL은 LRL에서 생성된 저해상도 결과를 점차적으로 고해상도 결과로 확대하는 데 사용됩니다. 그 중 적응형 블렌딩 모듈(ABM)과 그 역모듈(R-ABM)을 설계하여 중간 블렌딩 레이어 Bi를 사용하여 원본 이미지와 결과 이미지 간의 적응형 변환 및 상향 확장을 달성하여 강력한 확장성을 보여줍니다. 그리고 세부 충실도 기능. 우리는 얼굴 수정과 의복 수정이라는 두 가지 데이터 세트에 대해 많은 실험을 수행했으며 그 결과 우리의 방법이 효과성과 효율성 측면에서 기존 방법보다 훨씬 앞서 있음을 보여주었습니다. 우리 모델이 단일 카드 P100에서 4K 초고해상도 이미지의 실시간 추론을 달성한다는 점은 언급할 가치가 있습니다. 아래에서는 각각 LRL, BPL 및 네트워크 훈련 손실을 소개합니다.

4.2 상황 인식 로컬 리터칭 레이어

LRL에서는 3에서 언급한 두 가지 과제, 즉 대상 영역의 정확한 위치 지정 및 전역 가시성 일관된 로컬 생성을 해결하려고 합니다. 그림 3에서 볼 수 있듯이 LRL은 공유 인코더, MPB(마스크 예측 분기) 및 LRB(로컬 수정 분기)로 구성됩니다.

일반적으로 명확한 목표 영역 예측 및 로컬 수정 지침을 달성하기 위해 다중 작업 구조를 사용합니다. 그중 공유 인코더의 구조는 두 분기의 공동 훈련을 사용하여 기능을 최적화하고 수정 분기의 전역 의미 정보와 대상에 대한 로컬 인식을 향상시킬 수 있습니다. 대부분의 이미지 변환 방법은 전통적인 인코더-디코더 구조를 사용하여 대상 위치 지정 및 생성을 분리하지 않고 로컬 편집을 직접 구현하므로 생성 효과가 제한됩니다(네트워크 용량이 제한됨). 이에 비해 다중 분기 구조가 더 유리합니다. 작업 분리 및 상호 이익. 로컬 수정 분기 LRB에서는 공간 주의 메커니즘과 특징 주의 메커니즘을 동시에 사용하여 특징의 완전한 융합과 대상 영역의 의미 및 질감 캡처를 달성하는 LAM(그림 4)을 설계했습니다. 절제 실험(그림 6)은 각 모듈 설계의 효율성을 보여줍니다.

4.3 Adaptive Blend Pyramid Layer

LRL은 저해상도에서 로컬 수정을 구현합니다. 세부 충실도를 향상시키면서 수정 결과를 고해상도로 확장하는 방법은 무엇입니까? 이것이 우리가 이 부분에서 해결하고 싶은 문제입니다.

• 4.3.1 적응형 블렌드 모듈

이미지 편집 분야에서 블렌드 레이어는 다양한 이미지 편집 작업을 달성하기 위해 다양한 모드에서 이미지(기본 레이어)와 혼합하는 데 자주 사용됩니다. 대비 향상, 심화 및 밝게 작업 등과 같은 일반적으로 그림과 혼합 레이어가 주어지면 두 레이어를 혼합하여 다음과 같이 이미지 편집 결과를 얻을 수 있습니다.

여기서 f는 고정된 단계별 픽셀 매핑입니다. 기능은 일반적으로 혼합 모드에 의해 결정됩니다. 변환 기능의 제한으로 특정 블렌딩 모드와 고정 기능 f를 다양한 편집 작업에 직접 적용하기는 어렵습니다. 데이터 배포와 다양한 작업의 변환 모드에 더 잘 적응하기 위해 우리는 이미지 편집에 일반적으로 사용되는 부드러운 조명 모드를 활용하고 다음과 같이 적응형 혼합 ​​모듈(ABM)을 설계했습니다.

은 Hadmard 곱을 나타내고, ​ 및 ​은 네트워크의 모든 ABM 모듈과 다음 R-ABM 모듈에서 공유되는 학습 가능한 매개변수이며, ​는 1 행렬 값을 갖는 모든 상수를 나타냅니다.

• 4.3.2 역 적응형 혼합 ​​모듈

​, 혼합 레이어 B를 얻기 위해 다음과 같이 공식 3을 풀고 역 적응형 혼합 ​​모듈(R-ABM)을 구성합니다.

일반적으로 블렌딩 레이어를 중간 매체로 활용하여 ABM 모듈과 R-ABM 모듈은 이미지 I와 결과 R 간의 적응형 변환을 구현하므로 저해상도 결과를 직접 확장하는 것에 비해 컨볼루션 업샘플링 및 기타 작업(예: Pix2PixHD)을 사용하여 이 목표를 달성하기 위해 블렌딩 레이어를 사용합니다. 여기에는 두 가지 장점이 있습니다. 1) 로컬 수정 작업에서 블렌딩 레이어는 주로 두 이미지 간의 로컬 변환 정보를 기록합니다. 관련 없는 정보를 제거하고 경량 네트워크를 통해 최적화하기가 더 쉽습니다. 2) 블렌딩 레이어는 원본 이미지에 직접 작용하여 최종 수정을 수행하며, 이를 통해 이미지 자체의 정보를 최대한 활용할 수 있어 높은 수준의 세부 충실도를 달성할 수 있습니다.

사실 적응형 하이브리드 모듈에 대한 대체 기능이나 전략이 많이 있습니다. 우리는 논문에서 설계 동기와 다른 솔루션의 비교를 자세히 소개했으며 여기서는 더 자세히 설명하지 않겠습니다. 우리의 방법과 다른 하이브리드 방법 간의 절제 비교를 보여줍니다.

4.3.3 정제 모듈

4.4 손실 함수

실험 결과

5. 1 SOTA 방식 비교

5.2 Ablation 실험

5.3 실행 속도 및 메모리 소비

효과 표시

피부 미용 효과 표시:

unsplash [31]의 원본 이미지

원본 이미지는 얼굴 데이터세트 FFHQ [32]

에서 가져왔습니다.

기존 뷰티 알고리즘과 비교했을 때 우리가 제안한 로컬 리터칭 프레임워크는 피부 결점을 제거하면서 피부의 질감과 질감을 완벽하게 유지하여 미세하고 지능적인 피부 최적화를 달성하는 것을 볼 수 있습니다. 또한 이 방법을 의류 주름 제거 분야로 확장하여 다음과 같이 좋은 결과를 얻었습니다.

위 내용은 클릭 한 번으로 잡티와 주름을 지운다: 다모아카데미의 고화질 인물 피부 미용 모델 ABPN에 대한 심층 해석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!