이 모델은 Sora와 같은 DiT 프레임워크를 사용합니다.
모두가 알다시피, 최고 수준의 T2I 모델을 개발하려면 많은 자원이 필요하기 때문에 제한된 자원을 가진 개별 연구자가 이를 감당하는 것은 기본적으로 불가능합니다. 이 역시 AIGC(인공지능 콘텐츠)가 되었습니다. 세대) 커뮤니티 혁신의 주요 장애물입니다. 동시에, 시간이 지남에 따라 AIGC 커뮤니티는 지속적으로 업데이트되는 고품질 데이터 세트와 고급 알고리즘을 얻을 수 있게 될 것입니다. 여기에 핵심 질문이 있습니다. 이러한 새로운 요소를 기존 모델에 효율적으로 통합하고 제한된 리소스로 모델을 더욱 강력하게 만들 수 있는 방법은 무엇일까요? 이 문제를 탐구하기 위해 Huawei 노아의 방주 연구소와 같은 연구 기관의 연구팀은 약한 대 강한 훈련이라는 새로운 훈련 방법을 제안했습니다. 
논문 제목: PixArt-Σ: 4K 텍스트-이미지 생성을 위한 확산 변환기의 약-강 훈련논문 주소: https://arxiv.org/pdf/2403.04692.pdf프로젝트 페이지: https://pixart-alpha.github.io/PixArt-sigma-project/팀은 사전 훈련된 PixArt-α 기본 모델을 사용하고 고급 요소를 통합하여 지속적인 개선을 촉진하여 궁극적으로 더욱 강력한 모델 PixArt-Σ를 탄생시켰습니다. 그림 1은 생성된 결과의 몇 가지 예를 보여줍니다. 
구체적으로, 약한 대 강한 훈련을 달성하고 PixArt-Σ를 만들기 위해 팀에서는 다음과 같은 개선 조치를 채택했습니다. 팀은 고품질 데이터 세트를 수집했습니다. Internal-Σ는 주로 두 가지 측면에 중점을 둡니다. (1) 고품질 이미지: 데이터 세트 약 4K 해상도의 이미지 230만 개를 포함하여 모두 1K 해상도 이상의 인터넷에서 가져온 3,300만 개의 고해상도 이미지가 포함되어 있습니다. 이 이미지의 주요 특징은 높은 미적 감각과 광범위한 예술적 스타일을 포괄한다는 점입니다. (2) 조밀하고 정확한 설명: 위 이미지에 대한 보다 정확하고 자세한 설명을 제공하기 위해 팀에서는 PixArt-α에 사용된 LLaVA를 보다 강력한 이미지 설명자인 Share-Captioner로 대체했습니다. 그뿐만 아니라, 텍스트 개념과 시각적 개념을 정렬하는 모델의 능력을 향상시키기 위해 팀에서는 텍스트 인코더(예: Flan-T5)의 토큰 길이를 약 300 단어로 확장했습니다. 그들은 이러한 개선 사항이 모델의 환각 경향을 효과적으로 제거하여 더 높은 품질의 텍스트-이미지 정렬을 가능하게 한다는 것을 관찰했습니다. 아래 표 1은 다양한 데이터 세트의 통계를 보여줍니다. 
PixArt-α를 향상시키기 위해 팀에서는 세대 해상도를 1K에서 4K로 높였습니다. 초고해상도(예: 2K/4K) 이미지를 생성하기 위해 토큰 수가 크게 증가하고 이로 인해 컴퓨팅 요구 사항도 크게 증가합니다. 이 문제를 해결하기 위해 그들은 키와 값 토큰 압축을 사용하는 DiT 프레임워크용으로 특별히 조정된 self-attention 모듈을 도입했습니다. 특히 아래 그림 7과 같이 스트라이드 2의 그룹화된 컨볼루션을 사용하여 키와 값의 로컬 집계를 수행했습니다. 
또한 팀은 KV(키-값) 압축을 사용하지 않고도 사전 훈련된 모델에서 원활하게 적응할 수 있도록 특별히 설계된 가중치 초기화 방식을 채택했습니다. 이 설계는 고해상도 이미지 생성을 위한 훈련 및 추론 시간을 약 34% 효과적으로 줄여줍니다. 팀은 약한 모델을 강한 모델로 빠르고 효율적으로 조정할 수 있는 다양한 미세 조정 기술을 제안했습니다. 여기에는 다음이 포함됩니다. (1) 보다 강력한 VAE(변형 자동 인코더)를 사용한 교체: PixArt-α의 VAE를 SDXL의 VAE로 교체합니다. (2) 저해상도에서 고해상도로 확장하기 위해 성능 저하 문제에 대처하기 위해 PE(Position Embedding) 보간법을 사용합니다. (3) KV 압축을 사용하지 않는 모델에서 KV 압축을 사용하는 모델로 진화합니다. 실험 결과는 약-강 훈련 방법의 타당성과 효율성을 검증합니다. 위의 개선을 통해 PixArt-Σ는 가능한 가장 낮은 교육 비용과 가능한 적은 모델 매개변수로 고품질 4K 해상도 이미지를 생성할 수 있습니다. 구체적으로, 팀은 이미 사전 훈련된 모델을 시작으로 미세 조정함으로써 필요한 GPU 시간의 9%만 추가로 사용하여 1K 고해상도 이미지를 생성할 수 있는 모델을 생성할 수 있었습니다. PixArt-α. 이 성능은 새로운 훈련 데이터와 더욱 강력한 VAE를 사용하기 때문에 주목할 만합니다. 그리고 PixArt-Σ의 매개변수 양은 0.6B에 불과합니다. 이에 비해 SDXL과 SD Cascade의 매개변수 양은 각각 2.6B와 5.1B입니다. PixArt-Σ가 생성한 이미지의 아름다움은 DALL・E 3 및 MJV6과 같은 현재 최고의 픽셀 아트 제품과 비슷합니다. 또한 PixArt-Σ는 텍스트 프롬프트와 세밀하게 정렬하는 뛰어난 기능도 보여줍니다.
그림 2는 PixArt-Σ가 4K 고해상도 이미지를 생성한 결과를 보여줍니다. 생성된 결과는 복잡하고 정보가 많은 텍스트 지침을 잘 따르는 것을 볼 수 있습니다. 
교육 세부정보: 조건부 특징 추출을 수행하는 텍스트 인코더의 경우 팀은 Imagen 및 PixArt-α 장치의 방식에 따라 T5의 인코딩을 사용했습니다. (예: Flan-T5-XXL). 기본 확산 모델은 PixArt-α입니다. 대부분의 연구에서 고정된 77개의 텍스트 토큰을 추출하는 관행과 달리 Internal-Σ에 정리된 설명 정보가 더 조밀하고 매우 세밀한 세부 정보를 제공할 수 있기 때문에 텍스트 토큰의 길이를 PixArt-α의 120개에서 300개로 늘렸습니다. . 또한 VAE는 SDXL의 사전 훈련된 VAE 고정 버전을 사용합니다. 기타 구현 세부 사항은 PixArt-α와 동일합니다. 모델은 PixArt-α의 256px 사전 훈련 체크포인트부터 미세 조정되었으며 위치 임베딩 보간 기술을 사용합니다. 최종 모델(1K 해상도 포함)은 32개의 V100 GPU에서 훈련되었습니다. 또한 그들은 추가로 16개의 A100 GPU를 사용하여 2K 및 4K 이미지 생성 모델을 훈련했습니다. 평가 지표: 미학과 의미 기능을 더 잘 입증하기 위해 팀은 30,000개의 고품질 텍스트-이미지 쌍을 수집하여 가장 강력한 Vincent 그래프 모델을 벤치마킹했습니다. PixArt-Σ는 FID 지표가 생성 품질을 적절하게 반영하지 못할 수 있으므로 여기서 주로 인간과 AI 선호도에 따라 평가됩니다. 이미지 품질 평가: 팀은 PixArt-Σ의 생성 품질을 비공개 소스 T2I(텍스트 이미지 변환) 제품 및 오픈 소스 모델과 정성적으로 비교했습니다. 그림 3에서 볼 수 있듯이, 오픈 소스 모델인 SDXL과 팀의 이전 PixArt-α에 비해 PixArt-Σ에서 생성된 초상화는 더 현실적이고 더 나은 의미 분석 기능을 가지고 있습니다. PixArt-Σ는 SDXL보다 사용자 지침을 더 잘 따릅니다. 
PixArt-Σ는 그림 4에서 볼 수 있듯이 오픈 소스 모델보다 성능이 뛰어날 뿐만 아니라 현재의 비공개 소스 제품과도 경쟁력이 있습니다. 
고해상도 이미지 생성: 새로운 방법을 사용하면 후처리 없이 4K 해상도 이미지를 직접 생성할 수 있습니다. 또한 PixArt-Σ는 사용자가 제공하는 복잡하고 상세한 긴 텍스트도 정확하게 준수할 수 있습니다. 따라서 사용자는 만족스러운 결과를 얻기 위해 프롬프트를 디자인하는 데 애를 먹을 필요가 없습니다. 인간/AI(GPT-4V) 선호도 연구: 팀은 생성된 결과에 대한 인간 및 AI 선호도도 연구했습니다. PixArt-α, PixArt-Σ, SD1.5, Stable Turbo, Stable XL, Stable Cascade 및 Playground-V2.0을 포함한 6가지 오픈 소스 모델의 생성 결과를 수집했습니다. 그들은 프롬프트와 해당 이미지를 표시하여 인간의 선호도 피드백을 수집하는 웹사이트를 개발했습니다. 인간 평가자는 생성 품질과 프롬프트와 얼마나 잘 일치하는지를 기준으로 이미지의 순위를 매길 수 있습니다. 결과는 그림 9의 파란색 막대 그래프에 표시됩니다. 인간 평가자는 다른 6개 생성기보다 PixArt-Σ를 선호하는 것을 볼 수 있습니다. SDXL(2.6B 매개변수) 및 SD Cascade(5.1B 매개변수)와 같은 이전 Vincentian 그래프 확산 모델과 비교하여 PixArt-Σ는 훨씬 적은 매개변수(0.6B) 이미지로 더 높은 품질과 사용자 프롬프트에 더 일관된 결과를 생성할 수 있습니다. 
또한 팀은 고급 다중 모드 모델 GPT-4 Vision을 사용하여 AI 선호도 연구를 수행했습니다. 그들이 하는 일은 GPT-4 Vision에 두 개의 이미지를 공급하고 이미지 품질과 이미지-텍스트 정렬을 기반으로 투표하도록 하는 것입니다. 결과는 그림 9의 주황색과 녹색 막대로 표시되며, 상황은 기본적으로 사람의 평가와 일치함을 알 수 있습니다. 팀에서는 다양한 개선 조치의 효과를 검증하기 위해 절제 연구도 수행했습니다. 자세한 내용은 원본 논문을 참조하세요. 참고기사: 1. https://www.shoufachen.com/Awesome-Diffusion-Transformers/위 내용은 DiT를 기반으로 하고 4K 이미지 생성을 지원하는 Huawei Noah 0.6B Vincent 그래프 모델 PixArt-Σ 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
