Google의 Imagen 3은 AI 이미지 생성의 미래입니까?

소개

텍스트-이미지 합성 및 이미지 텍스트 대비 학습은 최근 인기를 얻는 가장 혁신적인 멀티 모드 학습 응용 프로그램 중 하나입니다. 창의적인 이미지 생성 및 조작을위한 혁신적인 응용 프로그램을 통해이 모델은 연구 커뮤니티에 혁명을 일으키고 상당한 공익을 얻었습니다.

추가 연구를하기 위해 DeepMind는 Imagen을 소개했습니다. 이 텍스트-이미지 확산 모델은 전례없는 사진주의와 텍스트-이미지 합성의 언어에 대한 깊은 이해를 제공합니다.

이 기사에서는 Google의 최신 Imagen 모델 인 Imagen 3의 교육 및 평가에 대해 설명합니다. Imagen 3은 기본적으로 1024 × 1024 해상도에서 이미지를 출력하도록 구성 할 수 있으며, 2 ×, 4 × 또는 8 × Upsampling을 적용하는 옵션을 제공합니다. 우리는 다른 최첨단 T2I 모델과 비교하여 분석 및 평가를 간략하게 설명합니다.

우리는 Imagen 3이 최고의 모델이라는 것을 발견했습니다. 그것은 사진과 복잡하고 긴 사용자 지침에 따라 탁월합니다.

개요

1. 혁신적인 텍스트-이미지 모델 : 텍스트-이미지 확산 모델 인 Google의 Imagen 3은 상세한 사용자 프롬프트를 해석 할 때 비교할 수없는 사진과 정밀도를 전달합니다.
2. 평가 및 비교 : Imagen 3은 Prompt-Image 정렬 및 시각적 매력을 탁월하며 Dall · E 3 및 자동화 및 인간 평가에서 안정적인 확산과 같은 모델을 능가합니다.
3. 데이터 세트 및 안전 조치 : 교육 데이터 세트는 엄격한 필터링을 통해 품질이 낮거나 유해한 콘텐츠를 제거하여보다 안전하고 정확한 출력을 보장합니다.
4. 건축 광채 : 냉동 T5-XXL 인코더 및 멀티 스텝 업 샘플링을 사용하여 Imagen 3은 최대 1024 × 1024 해상도의 매우 상세한 이미지를 생성합니다.
5. 실제 통합 : Imagen 3은 Google Cloud의 Vertex AI를 통해 액세스 할 수 있으므로 창의적인 이미지 생성을 위해 프로덕션 환경에 쉽게 통합 할 수 있습니다.
6. 고급 기능 및 속도 : Imagen 3 Fast가 도입되면서 사용자는 이미지 품질을 손상시키지 않으면 서 대기 시간이 40% 감소하면 혜택을 누릴 수 있습니다.

목차

• 데이터 세트 : 교육의 품질과 안전 보장
• Imagen의 건축
• Imagen 모델의 평가
• 인간 평가 : 평가자가 Imagen 3의 출력 품질을 판단하는 방법은 무엇입니까?
  • 전반적인 사용자 기본 설정 : Imagen 3은 창의적인 이미지 생성에서 주도권을 잡습니다.
  • 프롬프트 이미지 정렬 : 정밀도로 사용자 의도 캡처
  • 시각적 매력 : 플랫폼 전체의 미적 우수성
  • 상세한 프롬프트 이미지 정렬
  • 수치 적 추론 : 객체 수 정확도의 경쟁 능력을 능가합니다
• 자동 평가 : 클립, Gecko 및 Vqascore와 모델을 비교합니다
  • 프롬프트 - 이미지 정렬
  • 이미지 품질
• 질적 결과 : Imagen 3의 세부 사항에 대한 관심을 강조합니다
• 평가에 대한 추론
• Vertex AI를 통해 Imagen 3 액세스 : 원활한 통합 가이드
  • 정점 AI 사용
  • 쌍둥이 자리 사용
• 자주 묻는 질문

데이터 세트 : 교육의 품질과 안전 보장

Imagen 모델은 텍스트, 이미지 및 관련 주석이 포함 된 대형 데이터 세트를 사용하여 교육을받습니다. Deepmind는 품질 및 안전 요구 사항을 보장하기 위해 여러 여과 단계를 사용했습니다. 첫째, 위험하거나 폭력적이거나 품질이 좋지 않은 것으로 간주되는 모든 이미지가 제거됩니다. 다음으로, DeepMind는 AI가 생성 한 이미지를 제거하여 모델이 이러한 종류의 이미지에 자주 존재하는 바이어스 또는 아티팩트를 선택하는 것을 막았습니다. DeepMind는 또한 특정 교육 데이터 포인트에 과적으로 적합한 출력 가능성을 줄이기 위해 다운 가중 유사한 이미지 및 중복 제거 절차를 사용했습니다.

데이터 세트의 모든 이미지에는 합성 캡션과 Alt 텍스트, 인간 설명 등에서 파생 된 원본 캡션이 있습니다. Gemini 모델은 다른 신호를 가진 합성 캡션을 생성합니다. 이러한 합성 캡션의 언어 다양성과 품질을 극대화하기 위해 Deepmind는 여러 개의 Gemini 모델과 지침을 사용했습니다. DeepMind는 다양한 필터를 사용하여 잠재적으로 유해한 캡션과 개인 식별 정보를 제거했습니다.

Imagen의 건축

Imagen은 큰 냉동 T5-XXL 인코더를 사용하여 입력 텍스트를 임베딩으로 인코딩합니다. 조건부 확산 모델은 텍스트를 64 × 64 이미지에 포함시킵니다. Imagen은 텍스트 조건부 수퍼 레벨 확산 모델을 더욱 활용하여 이미지 64 × 64 → 256 × 256 및 256 × 256 → 1024 × 1024를 향상시킵니다.

Imagen 모델의 평가

DeepMind는 Imagen 2 및 외부 모델 Dall · E 3, MidJourney V6, 안정적인 확산 3 크고 안정적인 확산 XL 1.0에 대한 최상의 품질 구성 인 Imagen 3 모델을 평가합니다. DeepMind는 Imagen 3이 인간과 기계의 엄격한 평가를 통해 텍스트-이미지 생성에서 새로운 최신 기술을 설정한다는 것을 발견했습니다. 평가에 대한 질적 결과 및 추론에는 질적 결과와 전반적인 결과 및 한계에 대한 논의가 포함됩니다. Imagen 3과의 제품 통합은 테스트 된 구성과 다른 성능을 초래할 수 있습니다.

또한 읽으십시오 : 이미지 생성에 Dall-E 3 API를 사용하는 방법?

인간 평가 : 평가자가 Imagen 3의 출력 품질을 판단하는 방법은 무엇입니까?

텍스트-이미지 생성 모델은 전반적인 선호도, 프롬프트 이미지 정렬, 시각적 호소, 상세 프롬프트 이미지 정렬 및 수치 적 추론의 5 가지 품질 측면에서 평가됩니다. 이러한 측면은 평가자의 판단의 충돌을 피하기 위해 독립적으로 평가됩니다. 나란히 비교는 정량적 판단에 사용되는 반면, 주어진 유형의 몇 개의 물체가 이미지에 표시되어 수치 추론을 직접 평가할 수 있습니다.

전체 ELO 스코어 보드는 모든 모델 쌍을 철저히 비교하여 생성됩니다. 각 연구는 프롬프트 세트의 프롬프트에 균일하게 분포 된 2500 등급으로 구성됩니다. 모델은 평가자 인터페이스에서 익명화되어 있으며 측면은 모든 등급에 대해 무작위로 뒤섞입니다. 데이터 수집은 데이터 강화에 대한 Google DeepMind의 모범 사례를 사용하여 수행되므로 모든 데이터 강화 작업자가 최소한 현지 생활 임금을 지불 할 수 있습니다. 이 연구는 3225 명의 다른 평가자로부터 5943 개의 제출물에서 366,569 등급을 수집했습니다. 각 평가자는 연구의 최대 10%에 참여했으며 특정 평가자의 판단에 편향된 결과를 피하기 위해 등급의 약 2%를 제공했습니다. 71 개의 다른 국적의 평가자들이 연구에 참여했습니다.

전반적인 사용자 기본 설정 : Imagen 3은 창의적인 이미지 생성에서 주도권을 잡습니다.

프롬프트가 주어진 생성 된 이미지에 관한 사용자의 전반적인 선호도는 공개적인 질문이며, 평가자는 어떤 품질 측면이 가장 중요한지 결정합니다. 두 개의 이미지가 평가자들에게 제시되었으며, 둘 다 똑같이 매력적이라면“나는 무관심합니다.”

결과는 Genai-Bench, Drawbench 및 Dall · E 3 Eval에서 Imagen 3이 상당히 더 선호되는 것으로 나타났습니다. Imagen 3은 안정적인 확산 3보다 드로우 벤치에서 더 작은 마진을 기록했으며 Dall · e 3 Eval에서 약간의 가장자리가있었습니다.

프롬프트 이미지 정렬 : 정밀도로 사용자 의도 캡처

이 연구는 출력 이미지 컨텐츠에서 입력 프롬프트의 표현을 평가하여 잠재적 인 결함이나 미적 매력을 무시합니다. 평가자들은 다른 스타일을 무시하고 프롬프트의 의도를 더 잘 포착하는 이미지를 선택하도록 요청 받았습니다. 결과에 따르면 Imagen 3은 Genai-Bench, DrawBench 및 Dall · E 3 Eval보다 성능이 향상되어 신뢰 구간이 중복되었습니다. 이 연구는 이미지에서 잠재적 결함 또는 불량 품질을 무시하면 프롬프트 이미지 정렬의 정확도를 향상시킬 수 있다고 제안합니다.

시각적 매력 : 플랫폼 전체의 미적 우수성

시각적 호소는 내용에 관계없이 생성 된 이미지의 매력을 측정합니다. 평가자는 프롬프트없이 두 개의 이미지를 나란히 평가합니다. MidJourney V6 리드는 Genai-Bench에서 거의 PAR에 Imagen 3, DrawBench에서 약간 더 크며 Dall · E 3 Eval.

상세한 프롬프트 이미지 정렬

이 연구는 이전 프롬프트 세트보다 상당히 긴 DOCCI의 상세한 프롬프트에서 이미지를 생성하여 프롬프트 이미지 정렬 기능을 평가합니다. 연구원들은 인간 평가자에게는 100 개의 단어 프롬프트를 읽는 것을 발견했습니다. 대신, 그들은 실제 참조 사진의 고품질 캡션을 사용하여 생성 된 이미지를 벤치 마크 참조 이미지와 비교했습니다. 평가자들은 이미지의 의미론, 스타일을 무시하고 캡처 기술 및 품질에 중점을 두었습니다. 결과는 Imagen 3의 상당한 격차가 114 개의 ELO 포인트와 두 번째로 높은 모델에 대해 63%의 승리율을 가졌으며 입력 프롬프트의 상세한 내용을 따르는 뛰어난 기능을 강조했습니다.

수치 적 추론 : 객체 수 정확도의 경쟁 능력을 능가합니다

이 연구는 Geckonum 벤치 마크 작업을 사용하여 정확한 수의 객체를 생성하는 모델의 능력을 평가합니다. 작업에는 이미지의 객체 수를 프롬프트에서 요청한 예상 수량과 비교하는 것이 포함됩니다. 모델은 색상 및 공간 관계와 같은 속성을 고려합니다. 결과는 Imagen 3이 가장 강력한 모델이며 Dall · E 3을 12 % 포인트로 우수합니다. 또한 2-5 개 객체를 포함하는 이미지를 생성 할 때 정확도가 높고 복잡한 문장 구조에서 더 나은 성능을 제공합니다.

자동 평가 : 클립, Gecko 및 Vqascore와 모델을 비교합니다

최근 몇 년 동안 클립 및 vqascore와 같은 자동 평가 (Auto-Eval) 지표는 텍스트-이미지 모델의 품질을 측정하는 데 더 널리 사용되었습니다. 이 연구는 인간 평가를 보완하기 위해 즉각적인 이미지 정렬 및 이미지 품질에 대한 자동 이벤 메트릭에 중점을 둡니다.

프롬프트 - 이미지 정렬

연구자들은 세 가지 강력한 자동 이벤 프롬프트 이미지 정렬 메트릭을 선택합니다 : 대비 듀얼 인코더 (클립), VQA 기반 (Gecko) 및 LVLM 프롬프트 기반 (VQASCORE2의 구현)을 선택합니다. 결과는 클립이 종종 올바른 모델 순서를 예측하지 못하는 반면, Gecko와 Vqascore는 성능이 좋으며 시간의 72%에 동의합니다. Vqascore는 Gecko의 73.3%와 비교하여 인간 등급과 80%와 일치 할 때 우위를 점합니다. Gecko는 약한 백본 인 Pali를 사용하여 성능의 차이를 설명 할 수 있습니다.

이 연구는 다양한 조건에서 모델 차이를 조사하기 위해 4 가지 데이터 세트를 평가합니다 : Gecko-Rel, Docci-Test-Pivots, Dall · E 3 Eval 및 Genai-Bench. 결과에 따르면 Imagen 3은 지속적으로 정렬 성능이 가장 높습니다. SDXL 1 및 Imagen 2는 다른 모델보다 지속적으로 덜 성능이 있습니다.

이미지 품질

이미지 품질과 관련하여 연구자들은 다른 기능 공간과 거리 측정 항목을 사용하여 MSCOCO-Caption 검증 세트의 30,000 샘플에서 Imagen 3, SDXL 1 및 Dall · E 3의 생성 된 이미지의 분포를 비교합니다. 그들은이 세 가지 지표를 최소화하는 것이 자연색과 질감의 생성을 선호하지만 물체 모양과 부품의 왜곡을 감지하지 못하는 것임을 관찰합니다. Imagen 3은 세 가지 모델의 CMMD 값이 낮아서 최첨단 기능 공간 지표에서 강력한 성능을 강조합니다.

질적 결과 : Imagen 3의 세부 사항에 대한 관심을 강조합니다

아래 이미지는 12 메가 픽셀로 샘플링 된 2 개의 이미지를 보여 주며 작물은 세부 수준을 보여줍니다.

평가에 대한 추론

Imagen 3은 특히 상세한 프롬프트 및 계산 능력에서 프롬프트 이미지 정렬의 최고 모델입니다. 시각적 호소 측면에서 Midjourney V6은 이끌고 Imagen 3이 2 위를 차지했습니다. 그러나 수치 추론, 규모 추론, 구성 문구, 행동, 공간 추론 및 복잡한 언어와 같은 특정 기능에는 여전히 단점이 있습니다. 이 모델은 수치 적 추론, 규모 추론, 구성 문구 및 행동이 필요한 작업으로 어려움을 겪고 있습니다. 전반적으로 Imagen 3은 사용자 의도를 존중하는 고품질 출력에 가장 적합한 선택입니다.

Vertex AI를 통해 Imagen 3 액세스 : 원활한 통합 가이드

정점 AI 사용

Vertex AI를 사용하려면 기존 Google Cloud 프로젝트가 있어야하며 Vertex AI API를 활성화해야합니다. 프로젝트 및 개발 환경 설정에 대해 자세히 알아보십시오.

또한 GitHub 링크가 있습니다. 참조하십시오

 vertexai 가져 오기

vertexai.preview.vision_models에서 imageGenerationModel을 가져옵니다

# todo (개발자) : Vertex AI 콘솔에서 프로젝트 ID 업데이트

project_id = "project_id"

vertexai.init (project = project_id, location = "us-central1")

generation_model = imageGenerationModel.from_pretrained ( "imagen-3.0-generate-001")

프롬프트 = "" ""

나무 식위 테이블에 누워있는 요리 책의 사진 이미지, 비슷한 테이블에 앉아 웃는 가족이 특징 인 커버, 장면을 비추는 부드러운 오버 헤드 조명 인 요리 책은 이미지의 주요 초점입니다.

"" "

image = generation_model.generate_images (

    프롬프트 = 프롬프트,

    숫자 _of_images = 1,

    SALSE_RATIO = "1 : 1",

    안전 _filter_level = "block_some",

    person_generation = "allow_all",

))

텍스트 렌더링

Imagen 3은 또한 이미지 내부의 텍스트 렌더링과 관련하여 새로운 가능성을 열어줍니다. 포스터, 카드 및 소셜 미디어 게시물의 이미지를 다른 글꼴과 색상의 캡션으로 작성하는 것은이 도구를 실험 할 수있는 좋은 방법입니다. 이 기능을 사용하려면 프롬프트에서보고 싶은 내용에 대한 간단한 설명 만 작성하십시오. 요리 책의 표지를 변경하고 제목을 추가하고 싶다고 상상해 봅시다.

 프롬프트 = "" ""

나무 식위 테이블에 누워있는 요리 책의 사진 이미지, 비슷한 테이블에 앉아 웃는 가족이 특징 인 커버, 장면을 비추는 부드러운 오버 헤드 조명 인 요리 책은 이미지의 주요 초점입니다.

오렌지 블록 문자로 "일상 레시피"를 읽는 요리 책 표지의 중앙에 제목을 추가하십시오. 

"" "

image = generation_model.generate_images (

    프롬프트 = 프롬프트,

    숫자 _of_images = 1,

    SALSE_RATIO = "1 : 1",

    안전 _filter_level = "block_some",

    person_generation = "allow_all",

))

대기 시간 감소

DeepMind는 현재까지 최고 품질의 모델 인 Imagen 3 외에도 생성 속도에 최적화 된 모델 인 Imagen 3 Fast를 제공합니다. Imagen 3 Fast는 대비와 밝기가 더 큰 이미지를 생성하는 데 적합합니다. Imagen 2에 비해 대기 시간이 40% 감소 할 수 있습니다. 동일한 프롬프트를 사용 하여이 두 모델을 설명하는 두 개의 이미지를 만들 수 있습니다. 앞에서 언급 한 요리 책에 포함시킬 수있는 샐러드 사진에 대한 두 가지 대안을 만들어 봅시다.

 Generation_Model_Fast = ImageGenerationModel.from_pretraind (

    "Imagen-3.0-Fast-Generate-001"

))

프롬프트 = "" ""

피망, 오이, 토마토 및 잎이 많은 녹색과 같은 다채로운 야채가 넘쳐나는 정원 샐러드의 사진 이미지는 흰색 대리석 테이블의 이미지 중앙의 나무 그릇에 앉아 있습니다. 자연광은 장면을 비추고 부드러운 그림자를 주조하고 성분의 신선도를 강조합니다. 

"" " 

# Imagen 3 빠른 이미지 생성

fast_image = generation_model_fast.generate_images (

    프롬프트 = 프롬프트,

    숫자 _of_images = 1,

    SALSE_RATIO = "1 : 1",

    안전 _filter_level = "block_some",

    person_generation = "allow_all",

))

 프롬프트 = "" ""

피망, 오이, 토마토 및 잎이 많은 녹색과 같은 다채로운 야채가 넘쳐나는 정원 샐러드의 사진 이미지는 흰색 대리석 테이블의 이미지 중앙의 나무 그릇에 앉아 있습니다. 자연광은 장면을 비추고 부드러운 그림자를 주조하고 성분의 신선도를 강조합니다. 

"" " 

# Imagen 3 이미지 생성

image = generation_model.generate_images (

    프롬프트 = 프롬프트,

    숫자 _of_images = 1,

    SALSE_RATIO = "1 : 1",

    안전 _filter_level = "block_some",

    person_generation = "allow_all",

))

쌍둥이 자리 사용

Gemini는 New Imagen 3을 사용하여 지원하므로 Gemini를 사용하여 Imagen 3에 액세스하고 있습니다. 아래 이미지에서 Gemini가 Imagen 3을 사용하여 이미지를 생성하고 있음을 알 수 있습니다.

프롬프트 -“도시 도로를 걷는 사자의 이미지를 생성하십시오. 도로에는 자동차, 자전거 및 버스가 있습니다. 현실적으로 만들어야합니다.”

결론

Google의 Imagen 3은 텍스트-이미지 합성을위한 새로운 벤치 마크를 설정하고, 사진을 탁월하고 탁월한 정확도로 복잡한 프롬프트를 처리합니다. 다중 평가 벤치 마크에서 강력한 성능은 Dall · E 3 및 안정적인 확산과 같은 모델을 능가하는 상세한 프롬프트 이미지 정렬 및 시각적 매력으로 기능을 강조합니다. 그러나 여전히 수치 및 공간적 추론과 관련된 작업에서 여전히 도전에 직면 해 있습니다. Imagen 3은 Vertex AI와 같은 도구와의 통합을 위해 Imagen 3을 빠르게 추가하여 창의적인 응용 프로그램을위한 흥미로운 가능성을 열어 다중 모드 AI의 경계를 넓 힙니다.

생성 AI 과정을 온라인으로 찾고 있다면 오늘 Genai Pinnacle 프로그램을 탐색하십시오!

자주 묻는 질문

Q1. Google의 Imagen 3이 텍스트-이미지 합성에서 눈에 띄게 만드는 이유는 무엇입니까?

ANS Imagen 3은 Photorealism과 복잡한 프롬프트 처리에 탁월하여 Dall · E 3 및 안정적인 확산과 같은 다른 모델에 비해 우수한 이미지 품질과 사용자 입력과 정렬을 제공합니다.

Q2. Imagen 3은 복잡한 프롬프트를 어떻게 처리합니까?

Ans. Imagen 3은 상세하고 긴 프롬프트를 효과적으로 관리하도록 설계되어 프롬프트 이미지 정렬 및 상세한 컨텐츠 표현에서 강력한 성능을 보여줍니다.

Q3. Imagen 3을 훈련시키는 데 어떤 데이터 세트가 사용됩니까?

Ans. 이 모델은 AI 생성 컨텐츠, 유해한 이미지 및 품질이 좋지 않은 데이터를 제외하기 위해 필터링 된 텍스트, 이미지 및 주석이있는 크고 다양한 데이터 세트에서 교육을받습니다.

Q4. Imagen 3은 표준 버전과 어떻게 다른가요?

Ans. Imagen 3 Fast는 속도에 최적화되어 고품질 이미지 생성을 유지하면서 표준 버전에 비해 대기 시간이 40% 감소합니다.

Q5. Imagen 3을 생산 환경에 통합 할 수 있습니까?

Ans. 예, Imagen 3은 Google Cloud의 Vertex AI와 함께 사용하여 이미지 생성 및 창의적인 작업을위한 응용 프로그램에 완벽하게 통합 할 수 있습니다.

위 내용은 Google의 Imagen 3은 AI 이미지 생성의 미래입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!