'장면 제어 포털: 4가지 개체 순간이동, 제출 및 개미 제작'

일반적인 이미지 편집 작업에서 이미지 합성은 한 사진의 전경 개체를 다른 배경 사진과 결합하여 합성 사진을 생성하는 프로세스를 의미합니다. 합성된 이미지의 시각적 효과는 아래 그림과 같이 전경 개체를 한 사진에서 다른 배경 사진으로 옮기는 것과 유사합니다.

이미지 합성은 예술 창작, 포스터 디자인, 전자 상거래, 가상 현실에 사용됩니다. , 데이터 증강 및 기타 분야가 널리 사용됩니다.

간단한 잘라내기 및 붙여넣기로 얻은 합성 이미지는 많은 문제가 있을 수 있습니다. 이전 연구 작업에서 이미지 합성은 서로 다른 하위 문제를 각각 해결하기 위해 서로 다른 하위 작업을 파생했습니다. 예를 들어, 이미지 블렌딩은 전경과 배경 사이의 부자연스러운 경계를 해결하는 것을 목표로 합니다. 이미지 조화는 전경의 조명을 조정하여 배경과 조화를 이루는 것을 목표로 합니다. 원근 조정은 전경의 자세를 배경과 일치하도록 조정하는 것을 목표로 합니다. 객체 배치는 전경 객체의 적절한 위치, 크기 및 원근 각도를 예측하는 것을 목표로 합니다. 그림자 생성은 배경의 전경 개체에 대해 합리적인 그림자를 생성하는 것을 목표로 합니다

아래 그림과 같이 이전 연구에서는 사실적이고 자연스러운 합성 이미지를 얻기 위해 위의 하위 작업을 직렬 또는 병렬 방식으로 수행했습니다. 직렬 프레임워크에서는 실제 필요에 따라 일부 하위 작업을 선택적으로 실행할 수 있습니다. 병렬 프레임워크에서 현재 널리 사용되는 방법은 확산 모델을 사용하는 것입니다. 전경 경계 상자가 있는 배경 이미지와 전경 객체 이미지를 입력으로 받아들이고 최종 합성 이미지를 직접 생성합니다. 이를 통해 전경 개체와 배경 이미지를 원활하게 혼합할 수 있고 조명 및 그림자 효과가 적절하며 자세가 배경에 맞게 조정됩니다. 이 병렬 프레임워크는 동시에 여러 하위 작업을 실행하는 것과 동일하며 일부 하위 작업을 선택적으로 실행할 수 없으며 제어할 수 없습니다. .sex, 전경 객체의 자세나 색상에 불필요하거나 불합리한 변화를 가져올 수 있습니다.

다시 작성해야 할 사항은 다음과 같습니다.

병렬 프레임워크의 제어 가능성을 향상하고 일부 하위 작업을 선택적으로 수행하기 위해 다음을 제안했습니다. 제어 가능한 이미지 구성 모델 ControlCom(제어 가능한 이미지 구성). 아래 그림과 같이 확산 모델의 조건 정보로 지표 벡터를 사용하여 합성 이미지에서 전경 객체의 속성을 제어합니다. 표시기 벡터는 2차원 이진 벡터로, 각 차원은 전경 객체의 조명 속성과 자세 속성을 각각 조정할지 여부를 제어합니다. 여기서 1은 조정을 의미하고 0은 유지를 의미합니다.

구체적으로 (0,0)은 둘 다 변경을 의미하지 않습니다. 전경 조명은 전경 자세를 변경하지 않고 개체를 배경 이미지에 원활하게 혼합합니다. 이는 이미지 혼합과 동일합니다. (1,0)은 전경 조명만 변경하여 배경과 조화를 이루고 전경 자세를 유지하는 것을 의미하며 이는 이미지 조화와 동일합니다. (0,1)은 배경과 일치하도록 전경 포즈만 변경하고 전경 조명을 유지하는 것을 의미하며 이는 원근 조정(뷰 합성)과 동일합니다. (1,1)은 전경의 조명과 자세를 동시에 바꾸는 것을 의미하며, 이는 현재 제어할 수 없는 병렬 이미지 합성과 동일합니다

4가지 작업을 동일한 프레임워크에 통합하여 4인 1기능을 구현합니다. 장면의 지정된 위치로 개체를 순간 이동할 수 있는 표시기 벡터를 통한 하나의 개체 포털입니다. 이 작업은 Shanghai Jiao Tong University와 Ant Group에 의해 완료되었습니다. 코드와 모델은 곧 오픈 소스가 될 예정입니다

논문을 보려면 다음 링크를 클릭하세요: https://arxiv.org/abs/2308.10040

코드 모델 링크: https://github.com/bcmi/ControlCom-Image-Composition

아래 그림에서는 제어 가능한 이미지 구성 기능을 보여줍니다

왼쪽 열에서는 전경 개체의 자세 원래 배경 이미지에 맞게 조정되었으므로 사용자는 전경 개체의 포즈를 보존하기를 원할 수 있습니다. 이전 방법 PbE [1], ObjectStitch [2]는 전경 개체의 포즈에 불필요하고 제어할 수 없는 변경을 수행합니다. 우리 방법의 (1,0) 버전은 전경 개체의 포즈를 보존하여 조화로운 조명으로 전경 개체를 배경 이미지에 매끄럽게 혼합할 수 있습니다.

오른쪽 열에서 전경 개체의 조명은 다음과 같아야 합니다. 배경 조명과 동일합니다. 이전 방법을 사용하면 차량, 의복 등 전경 개체의 색상이 예기치 않게 변경될 수 있습니다. 우리의 방법(버전 0.1)은 전경 개체의 색상을 보존하는 동시에 배경 이미지와 자연스럽게 혼합되도록 포즈를 조정할 수 있습니다

다음으로 (0,0), (1,0), (0,1), (1,1) 방법의 네 가지 버전에 대한 더 많은 결과를 보여줍니다. 다양한 표시기 벡터를 사용할 때 우리의 방법은 전경 객체의 일부 속성을 선택적으로 조정하고 합성 이미지의 효과를 효과적으로 제어하며 사용자의 다양한 요구를 충족할 수 있음을 알 수 있습니다.

다시 작성해야 할 것은: 네 가지 기능을 구현할 수 있는 모델 구조는 무엇입니까? 우리의 방법은 다음과 같은 모델 구조를 채택합니다. 모델의 입력에는 전경 경계 상자가 있는 배경 이미지와 전경 객체의 특징 및 표시기 벡터가 확산 모델로 결합됩니다.

우리는 전역 특징을 다시 추출합니다. 전경 개체와 로컬 기능을 결합하고 먼저 전역 기능을 융합한 다음 로컬 기능을 융합합니다. 로컬 융합 프로세스 동안 우리는 더 나은 세부 정보 보존을 달성하기 위해 기능 변조를 위해 정렬된 전경 기능 맵을 사용합니다. 동시에 표시기 벡터는 전역 융합과 로컬 융합 모두에서 사용되어 전경 개체의 속성을 보다 완벽하게 제어합니다.

우리는 사전 훈련된 안정적인 확산 알고리즘을 사용하여 OpenImage의 190만 개 이미지를 기반으로 모델을 훈련합니다. 4개의 하위 작업을 동시에 훈련하기 위해 일련의 데이터 처리 및 향상 프로세스를 설계했습니다. 데이터 및 교육에 대한 자세한 내용은 논문을 참조하세요.

COCOEE 데이터 세트와 자체 구축한 데이터 세트를 테스트했습니다. 이전 방법은 제어할 수 없는 이미지 합성만 달성할 수 있으므로 (1,1) 버전 및 이전 방법과 비교했습니다. 비교 결과는 아래 그림과 같습니다. PCTNet은 객체의 세부 사항을 보존할 수 있지만 전경의 자세를 조정할 수 없고 전경 객체를 완성할 수 없는 이미지 조화 방법입니다. 다른 방법도 동일한 종류의 개체를 생성할 수 있지만 옷 스타일, 컵 질감, 새 깃털 색상 등과 같은 세부 정보를 유지하는 데는 덜 효과적입니다.

우리 방법은 전경의 세부 정보를 유지하는 데 더 좋습니다. 세부 사항을 지정하고, 불완전한 전경 개체를 완성하고, 전경 개체의 조명, 자세 및 배경에 대한 적응을 조정합니다.

이 작업은 제어 가능한 이미지 합성에 대한 첫 번째 시도입니다. 작업은 매우 어렵고 여전히 많습니다. 그러나 모델의 성능이 충분히 안정적이지 않고 견고하지 않습니다. 또한 조명 및 자세 외에도 전경 개체의 속성을 더욱 세밀하게 제어할 수 있는 이미지 합성을 달성하는 방법은 더욱 어려운 작업입니다.

원래 의도를 변경하지 않으려면 재작성 내용은 다음과 같습니다. 참고문헌

Yang, Gu, Zhang, Zhang, Chen, Sun, Chen, Wen (2023). 예제 기반 이미지 편집 및 확산 모델. CVPR

[2] Song Yongzhong, Zhang Zhi, Lin Zhilong, Cohen, S. D., Price, B. L., Zhang Jing, Jin Suying, Arriaga, D. G. 2023. ObjectStitch: 생성 객체 합성. CVPR에서

위 내용은 '장면 제어 포털: 4가지 개체 순간이동, 제출 및 개미 제작'의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!