Byte Fudan 팀의 혁신적인 "메타 팁" 전략은 확산 모델 이미지 이해 성능을 향상시켜 전례 없는 수준에 도달했습니다!

텍스트-이미지(T2I) 확산 모델은 대규모 이미지-텍스트 쌍에 대한 사전 학습 덕분에 고화질 이미지 생성에 탁월합니다.

이것은 자연스러운 질문으로 이어집니다. 확산 모델을 사용하여 시각적 인식 작업을 해결할 수 있습니까?

최근 ByteDance와 Fudan University 팀은 시각적 작업을 처리하기 위한 확산 모델을 제안했습니다.

논문 주소: https://arxiv.org/abs/2312.14733

오픈 소스 프로젝트: https://github.com/fudan-zvg/meta-prompts

핵심 팀에 있어서 Insight는 사전 훈련된 확산 모델에 학습 가능한 메타큐를 도입하여 특정 인식 작업에 적합한 기능을 추출하는 것입니다.

기술 소개

팀은 시각적 인식 작업에 특징 추출기로 텍스트-이미지 확산 모델을 적용합니다.

먼저 입력 이미지를 VQVAE 인코더로 압축하고 해상도를 원래 크기의 1/8로 줄인 후 잠재 공간 특징 표현이 생성됩니다. VQVAE 인코더 매개변수는 고정되어 있으며 후속 교육에 참여하지 않는다는 점은 주목할 가치가 있습니다.

다음 단계는 특징 추출을 위해 추가 노이즈 없이 데이터를 UNet으로 보내는 것입니다. 다양한 작업에 더 잘 적응하기 위해 UNet은 변조된 시간 단계 임베딩과 여러 메타 큐를 동시에 수신하여 모양이 일관된 기능을 생성합니다.

전체 과정에서 특징 표현력을 높이기 위해 반복적인 미세 조정을 수행하는 방식입니다. 이를 통해 UNet 내 다양한 ​​계층의 기능을 보다 효과적으로 대화형으로 융합할 수 있습니다. 두 번째 주기에서는 UNet의 매개변수가 특정 학습 가능한 시간 변조 기능에 의해 조정됩니다.

마지막으로 UNet에서 생성된 다중 규모 기능은 대상 비전 작업을 위해 특별히 설계된 디코더에 입력됩니다.

학습 가능한 메타 프롬프트 디자인

안정적인 확산 모델은 UNet 아키텍처를 채택하여 교차 주의를 통해 텍스트 프롬프트를 이미지 기능에 통합하고 Vincentian 그래프를 구현합니다. 이러한 통합을 통해 이미지 생성이 상황에 따라, 의미적으로 정확하도록 보장됩니다.

그러나 시각적 인식 작업의 다양성은 이 범주를 뛰어 넘습니다. 이미지 이해가 다양한 과제에 직면하고 종종 지침으로서의 텍스트 정보가 부족하여 텍스트 기반 방법이 때로는 비실용적이기 때문입니다.

이 문제를 해결하기 위해 기술 팀의 접근 방식은 보다 다양한 전략을 채택합니다. 외부 텍스트 프롬프트에 의존하는 대신 이러한 메타 프롬프트를 확산 모델에 통합하여 적응합니다. 지각 작업에.

메타 프롬프트는 매트릭스 형태로 표현되며, 이는 메타 프롬프트의 수와 차원을 나타냅니다. 메타 프롬프트가 포함된 지각 확산 모델에서는 데이터 세트 카테고리 레이블이나 이미지 제목과 같은 외부 텍스트 프롬프트가 필요하지 않으며 최종 텍스트 프롬프트를 생성하기 위해 미리 훈련된 텍스트 인코더가 필요하지 않습니다.

Meta 프롬프트는 대상 작업 및 데이터 세트를 기반으로 엔드투엔드 학습을 통해 UNet 노이즈 제거를 위한 특별히 맞춤화된 적응 조건을 설정할 수 있습니다. 이러한 메타 프롬프트에는 특정 작업에 적합한 풍부한 의미 정보가 포함되어 있습니다. 예:

- 의미론적 분할 작업에서 메타 프롬프트는 카테고리를 식별하는 능력을 효과적으로 보여주며, 동일한 메타 프롬프트는 동일한 카테고리의 기능을 활성화하는 경향이 있습니다.

- 깊이 추정 작업에서 메타 프롬프트는 깊이를 인식하는 능력을 보여주고 활성화 값은 깊이에 따라 변경되어 프롬프트가 같은 거리에 있는 물체에 집중할 수 있습니다.

- 포즈 추정에서 메타 프롬프트는 다양한 기능 세트, 특히 핵심 포인트 인식을 보여 인간의 포즈 감지에 도움이 됩니다.

이러한 정성적 결과는 다양한 작업에서 작업 관련 능력을 활성화하는 데 있어 기술팀이 제안한 메타 프롬프트의 효과를 강조합니다.

텍스트 프롬프트의 대안으로 메타 프롬프트는 텍스트-이미지 확산 모델과 시각적 인식 작업 간의 격차를 잘 메워줍니다.

메타 큐 기반 기능 재구성

확산 모델은 출력 레이어에 접근할 때 더 미세한 하위 수준 세부 사항에 초점을 맞추는 고유한 설계를 통해 UNet의 노이즈 제거에서 다중 스케일 기능을 생성합니다.

질감과 세밀함을 강조하는 작업에는 이 하위 수준 세부 정보로 충분하지만, 시각적 인식 작업에는 하위 수준 세부 정보와 상위 수준 의미 해석을 모두 포함하는 콘텐츠 이해가 필요한 경우가 많습니다.

따라서 풍부한 기능을 생성해야 할 뿐만 아니라 이러한 다중 규모 기능의 어떤 조합이 현재 작업에 가장 적합한 표현을 제공할 수 있는지 결정하는 것도 매우 중요합니다.

여기서 메타 프롬프트가 등장합니다.

이러한 프롬프트는 훈련 중에 사용되는 데이터세트와 관련된 상황별 지식을 보존합니다. 이러한 상황별 지식을 통해 메타 프롬프트는 기능 선택 프로세스를 안내하고 UNet에서 생성된 많은 기능 중에서 작업에 가장 관련성이 높은 기능을 필터링하여 기능 재조합을 위한 필터 역할을 할 수 있습니다.

팀은 내적 접근 방식을 사용하여 UNet의 풍부한 다중 규모 기능과 메타 프롬프트의 작업 적응성을 결합합니다.

각각의 다중 규모 기능을 고려하세요. 특징 맵의 높이와 너비를 나타냅니다. 메타 프롬프트. 각 규모에서 재배열된 특징은 다음과 같이 계산됩니다.

마지막으로 메타 프롬프트로 필터링된 이러한 특징은 작업별 디코더에 입력됩니다.

학습 가능한 시간 변조 기능을 기반으로 한 반복적 개선

확산 모델에서는 잡음을 추가한 다음 다단계 잡음 제거의 반복 프로세스가 이미지 생성의 프레임워크를 구성합니다.

이 메커니즘에서 영감을 받아 기술 팀은 시각적 인식 작업을 위한 간단한 반복 개선 프로세스를 설계했습니다. 출력 기능에 노이즈를 추가하는 대신 UNet의 출력 기능이 루프에서 UNet에 직접 입력됩니다.

동시에 모델이 루프를 통과할 때 입력 특성의 분포는 변경되지만 UNet의 매개변수는 변경되지 않는 일관되지 않은 문제를 해결하기 위해 기술 팀은 각각에 대해 학습 가능하고 고유한 시간 단계 임베딩을 도입했습니다. UNet 매개변수를 변조하는 루프입니다.

이를 통해 네트워크는 다양한 단계에서 입력 특성의 가변성에 적응하고 응답할 수 있으며, 특성 추출 프로세스를 최적화하고, 시각적 인식 작업에서 모델의 성능을 향상시킵니다.

결과는 이 방법이 다중 인식 작업 데이터 세트에서 최적의 결과를 달성했음을 보여줍니다.

애플리케이션 구현 및 전망

이 기사에서 제안한 방법과 기술은 광범위한 응용 전망을 가지고 있으며 여러 분야에서 기술 개발과 혁신을 촉진할 수 있습니다.

1. 시각 인식 작업의 개선: 이 연구는 이미지 분할, 깊이 추정, 자세 추정과 같은 다양한 시각적 인식 작업의 성능을 향상시킬 수 있습니다. 이러한 개선 사항은 자율주행, 의료영상 분석, 로봇 비전 시스템 등의 분야에 적용될 수 있습니다.
2. 향상된 컴퓨터 비전 모델: 제안된 기술은 특히 명시적인 텍스트 설명이 없는 경우 복잡한 장면을 처리할 때 컴퓨터 비전 모델을 더욱 정확하고 효율적으로 만들 수 있습니다. 이는 이미지 내용 이해와 같은 애플리케이션에 특히 중요합니다.
3. 교차 분야 응용: 이 연구의 방법과 결과는 예술 창작, 가상 현실, 증강 현실과 같은 분야 간 연구와 응용에 영감을 주어 이미지와 비디오의 품질과 상호 작용성을 향상시킬 수 있습니다. .
4. 장기 전망: 기술이 발전함에 따라 이러한 방법은 더욱 향상되어 더욱 발전된 이미지 생성 및 콘텐츠 이해 기술을 가져올 수 있습니다.

팀 소개

지능형 창작팀은 ByteDance의 AI 및 멀티미디어 기술 센터로 회사의 풍부한 비즈니스 시나리오, 인프라 자원 및 기술을 바탕으로 컴퓨터 비전, 오디오 및 비디오 편집, 특수 효과 처리 및 기타 기술 분야를 포괄합니다. 협업 분위기는 최첨단 알고리즘-엔지니어링 시스템-제품의 폐쇄 루프를 구현하여 회사 내부 비즈니스에 최첨단 콘텐츠 이해, 콘텐츠 생성, 대화형 경험 및 소비 기능과 다양한 형태의 산업 솔루션을 제공하는 것을 목표로 합니다.

현재 지능형 창작팀은 ByteDance가 소유한 클라우드 서비스 플랫폼인 Volcano Engine을 통해 기업에 기술 역량과 서비스를 공개했습니다. 대형 모델 알고리즘 관련 더 많은 채용 공고가 있으니, 「원문 읽기」를 클릭해 확인해 주세요.

위 내용은 Byte Fudan 팀의 혁신적인 "메타 팁" 전략은 확산 모델 이미지 이해 성능을 향상시켜 전례 없는 수준에 도달했습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!