HKUST 및 MSRA 연구: 이미지 간 변환과 관련하여 미세 조정만 있으면 됩니다.

많은 콘텐츠 제작 프로젝트에서는 단순한 스케치를 사실적인 그림으로 변환해야 하며, 여기에는 이미지 대 이미지 변환이 포함됩니다. 여기에는 심층 생성 모델을 사용하여 분산된 입력이 주어진 자연스러운 그림의 조건을 학습합니다.

이미지-이미지 변환의 기본 개념은 사전 훈련된 신경망을 활용하여 자연스러운 이미지 다양체를 캡처하는 것입니다. 이미지 변환은 다양체를 탐색하고 실행 가능한 입력 의미 지점을 찾는 것과 유사합니다. 시스템은 잠재 공간의 모든 샘플링에서 안정적인 출력을 제공하기 위해 많은 이미지를 사용하여 합성 네트워크를 사전 훈련합니다. 사전 훈련된 합성 네트워크를 통해 다운스트림 훈련은 사용자 입력을 모델의 잠재 표현에 맞게 조정합니다.

수년에 걸쳐 우리는 많은 작업별 방법이 SOTA 수준에 도달하는 것을 보아왔지만 현재 솔루션은 여전히 ​​실제 사용을 위한 고화질 이미지를 생성하는 데 어려움을 겪고 있습니다.

홍콩 과학기술대학교와 Microsoft Research Asia의 연구원들은 최근 논문에서 사전 훈련이 이미지를 이미지로 변환하는 데 필요한 전부라고 믿습니다. 이전 방법에는 전문적인 아키텍처 설계가 필요하고 단일 변환 모델을 처음부터 훈련해야 하므로 특히 쌍을 이루는 훈련 데이터가 부족한 경우 복잡한 장면을 고품질로 생성하기가 어렵습니다.

따라서 연구원들은 각 이미지-이미지 변환 문제를 다운스트림 작업으로 처리하고 다양한 이미지-이미지 변환에 적응하기 위해 사전 훈련된 확산 모델을 채택하는 간단한 일반 프레임워크를 소개합니다. 그들은 제안된 사전 훈련된 이미지-이미지 변환 모델을 PITI(사전 훈련 기반 이미지-이미지 변환)라고 불렀습니다. 또한 연구원들은 확산 모델 훈련에서 텍스처 합성을 향상시키기 위해 적대적 훈련을 사용하고 이를 정규화된 안내 샘플링과 결합하여 생성 품질을 향상시킬 것을 제안했습니다.

마지막으로 연구원들은 ADE20K, COCO-Stuff 및 DIODE와 같은 까다로운 벤치마크에서 다양한 작업에 대한 광범위한 경험적 비교를 수행하여 PITI 합성 이미지가 전례 없는 현실감과 충실도를 나타냄을 보여주었습니다.

• 논문 링크: https://arxiv.org/pdf/2205.12952.pdf
• 프로젝트 홈페이지: https://tengfei-wang.github.io/PITI/index.html

GAN은 죽었습니다. , 확산 모델은 살아있습니다

특정 도메인에서 가장 잘 수행되는 GAN을 사용하는 대신 저자는 확산 모델을 사용하여 다양한 이미지를 합성합니다. 둘째, 두 가지 유형의 잠재 코드로부터 이미지를 생성해야 합니다. 하나는 시각적 의미를 설명하는 코드이고 다른 하나는 이미지 변동을 조정하는 코드입니다. 의미론적 저차원 잠재성은 다운스트림 작업에 매우 중요합니다. 그렇지 않으면 모달 입력을 복잡한 잠재 공간으로 변환하는 것이 불가능합니다. 이를 고려하여 그들은 다양한 이미지를 생성할 수 있는 데이터 기반 모델인 GLIDE를 사전 훈련된 생성 사전 모델로 사용했습니다. GLIDE는 잠재 텍스트를 사용하므로 의미론적 잠재 공간을 허용합니다.

확산 및 점수 기반 방법은 벤치마크 전체에서 생성 품질을 보여줍니다. 클래스 조건부 ImageNet에서 이러한 모델은 시각적 품질 및 샘플링 다양성 측면에서 GAN 기반 방법과 경쟁합니다. 최근 대규모 텍스트-이미지 쌍으로 훈련된 확산 모델은 놀라운 기능을 보여주었습니다. 잘 훈련된 확산 모델은 합성에 앞서 일반적인 생성을 제공할 수 있습니다.

Framework

작성자는 프리텍스트 작업을 사용하여 대량의 데이터를 사전 훈련하고 매우 의미 있는 잠재 공간을 개발하여 이미지 통계를 예측할 수 있습니다.

다운스트림 작업의 경우 의미 공간을 조건부로 미세 조정하여 작업별 환경을 매핑합니다. 기계는 사전 훈련된 정보를 기반으로 믿을 수 있는 시각적 자료를 생성합니다.

저자는 의미론적 입력을 사용하여 확산 모델을 사전 학습할 것을 권장합니다. 그들은 텍스트 조건과 이미지 훈련을 받은 GLIDE 모델을 사용했습니다. Transformer 네트워크는 텍스트 입력을 인코딩하고 확산 모델에 대한 토큰을 출력합니다. 계획대로 텍스트가 공간에 삽입되는 것이 합리적입니다.

위 사진은 작가의 작품입니다. 사전 학습된 모델은 처음부터 새로 만드는 기술에 비해 이미지 품질과 다양성을 향상시킵니다. COCO 데이터 세트에는 수많은 카테고리와 조합이 있으므로 기본 접근 방식으로는 매력적인 아키텍처로 아름다운 결과를 제공할 수 없습니다. 그들의 방법은 어려운 장면에 대해 정확한 의미를 지닌 풍부한 세부 정보를 생성할 수 있습니다. 사진은 접근 방식의 다양성을 보여줍니다.

실험 및 영향

표 1은 본 연구에서 제안한 방법의 성능이 다른 모델보다 항상 우수함을 보여줍니다. 선도적인 OASIS와 비교하여 PITI는 마스크-이미지 합성에서 FID가 크게 향상되었습니다. 또한 이 방법은 스케치-이미지 및 형상-이미지 합성 작업에서도 좋은 성능을 보여줍니다.

그림 3은 다양한 작업에 대한 본 연구의 시각화 결과를 보여줍니다. 실험에 따르면 처음부터 훈련하는 방법과 비교하여 사전 훈련된 모델은 생성된 이미지의 품질과 다양성을 크게 향상시킵니다. 본 연구에서 사용된 방법은 까다로운 생성 작업에서도 생생한 세부 정보와 올바른 의미를 생성할 수 있습니다.

이 연구는 또한 Amazon Mechanical Turk의 COCO-Stuff에 대한 마스크-이미지 합성에 대한 사용자 연구를 수행했으며, 참가자 20명으로부터 3000표를 얻었습니다. 참가자들에게는 한 번에 두 개의 이미지가 주어졌고 어느 것이 더 현실적인지에 대해 투표하도록 요청 받았습니다. 표 2에서 볼 수 있듯이, 제안된 방법은 처음부터 모델과 다른 기준선보다 훨씬 더 성능이 뛰어납니다.

조건부 이미지 합성을 통해 조건에 ​​맞는 고화질 사진을 만들어드립니다. 컴퓨터 비전 및 그래픽 분야에서는 이를 사용하여 정보를 생성하고 조작합니다. 대규모 사전 훈련은 이미지 분류, 객체 인식 및 의미론적 분할을 향상시킵니다. 알려지지 않은 것은 대규모 사전 훈련이 일반적인 생성 작업에 유익한지 여부입니다.

에너지 사용과 탄소 배출은 이미지 사전 훈련의 주요 문제입니다. 사전 훈련은 에너지 집약적이지만 한 번만 필요합니다. 조건부 미세 조정을 통해 다운스트림 작업에서 동일한 사전 훈련된 모델을 사용할 수 있습니다. 사전 훈련을 사용하면 더 적은 수의 훈련 데이터로 생성 모델을 훈련할 수 있으므로 개인 정보 보호 문제나 값비싼 주석 비용으로 인해 데이터가 제한되는 경우 이미지 합성이 향상됩니다.

위 내용은 HKUST 및 MSRA 연구: 이미지 간 변환과 관련하여 미세 조정만 있으면 됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!