Adakah Google's Imagen 3 Masa Depan Penciptaan Imej AI?

Pengenalan

Sintesis teks-ke-imej dan pembelajaran kontrasif teks-teks adalah dua aplikasi pembelajaran multimodal yang paling inovatif baru-baru ini mendapat populariti. Dengan aplikasi inovatif mereka untuk penciptaan dan manipulasi imej kreatif, model -model ini telah merevolusikan komuniti penyelidikan dan menarik minat awam yang signifikan.

Untuk melakukan penyelidikan lanjut, DeepMind memperkenalkan Imagen. Model penyebaran teks-ke-imej ini menawarkan photorealisme yang belum pernah terjadi sebelumnya dan pemahaman yang mendalam tentang bahasa dalam sintesis teks-ke-imej dengan menggabungkan kekuatan model bahasa pengubah (LMS) dengan model penyebaran tinggi kesetiaan.

Artikel ini menerangkan latihan dan penilaian model Imagen terbaru Google, Imagen 3. Imagen 3 boleh dikonfigurasikan untuk mengeluarkan imej pada 1024 × 1024 resolusi secara lalai, dengan pilihan untuk memohon 2 ×, 4 ×, atau 8 × upsampling selepas itu. Kami menggariskan analisis dan penilaian kami berbanding dengan model T2I canggih yang lain.

Kami mendapati bahawa Imagen 3 adalah model terbaik. Ia unggul di Photorealisme dan mengikuti arahan pengguna yang rumit dan panjang.

Gambaran Keseluruhan

1. Model Teks-Ke-Imej Revolusi : Google's Imagen 3, model penyebaran teks-ke-imej, menyampaikan photorealisme dan ketepatan yang tidak dapat ditandingi dalam mentafsir pengguna terperinci.
2. Penilaian dan Perbandingan : Imagen 3 cemerlang dalam penjajaran imej dan daya tarikan visual, melampaui model seperti Dall · E 3 dan penyebaran stabil dalam kedua-dua penilaian automatik dan manusia.
3. Langkah Dataset dan Keselamatan : Dataset latihan menjalani penapisan ketat untuk menghapuskan kandungan berkualiti rendah atau berbahaya, memastikan output yang lebih selamat dan lebih tepat.
4. Brilliance Architectural : Menggunakan pengekod T5-XXL beku dan upsampling multi-step, Imagen 3 menghasilkan imej yang sangat terperinci sehingga 1024 × 1024 resolusi.
5. Integrasi Dunia Real : Imagen 3 boleh diakses melalui Vertex AI Google Cloud, menjadikannya mudah untuk diintegrasikan ke dalam persekitaran pengeluaran untuk penjanaan imej kreatif.
6. Ciri -ciri Lanjutan dan Kelajuan : Dengan pengenalan Imagen 3 cepat, pengguna boleh mendapat manfaat daripada pengurangan 40% dalam latensi tanpa menjejaskan kualiti imej.

Jadual Kandungan

• Dataset: memastikan kualiti dan keselamatan dalam latihan
• Senibina Imagen
• Penilaian model imagen
• Penilaian Manusia: Bagaimana Raters menilai kualiti output Imagen 3?
  • Keutamaan Pengguna Keseluruhan: Imagen 3 memimpin dalam Generasi Imej Kreatif
  • Penjajaran imej cepat: Menangkap niat pengguna dengan ketepatan
  • Rayuan Visual: Kecemerlangan Estetik di seluruh Platform
  • Penjajaran imej yang terperinci
  • Penalaran Berangka: Mengatasi Pertandingan dalam Ketepatan Pengiraan Objek
• Penilaian automatik: Membandingkan model dengan klip, tokek, dan vqascore
  • Penjajaran imej prompt
  • Kualiti imej
• Hasil kualitatif: menonjolkan perhatian imagen 3 terhadap perincian
• Kesimpulan pada penilaian
• Mengakses Imagen 3 melalui Vertex AI: Panduan untuk Integrasi Lancar
  • Menggunakan Vertex AI
  • Menggunakan Gemini
• Soalan yang sering ditanya

Dataset: memastikan kualiti dan keselamatan dalam latihan

Model Imagen dilatih menggunakan dataset besar yang merangkumi teks, imej, dan anotasi yang berkaitan. DeepMind menggunakan beberapa peringkat penapisan untuk menjamin keperluan kualiti dan keselamatan. Pertama, mana -mana imej yang dianggap berbahaya, ganas, atau miskin dikeluarkan. Seterusnya, imej DeepMind yang dihapuskan oleh AI untuk menghentikan model daripada mengambil bias atau artifak yang sering hadir dalam imej -imej ini. DeepMind juga menggunakan imej yang sama dan prosedur deduplikasi yang sama untuk mengurangkan kemungkinan output mengatasi titik data latihan tertentu.

Setiap imej dalam dataset mempunyai kapsyen sintetik dan kapsyen asal yang diperoleh dari teks alt, deskripsi manusia, dan lain -lain. Model Gemini menghasilkan kapsyen sintetik dengan isyarat yang berbeza. Untuk memaksimumkan kepelbagaian bahasa dan kualiti kapsyen sintetik ini, DeepMind menggunakan pelbagai model dan arahan Gemini. DeepMind menggunakan pelbagai penapis untuk menghapuskan kapsyen yang berpotensi berbahaya dan maklumat yang dapat dikenal pasti secara peribadi.

Senibina Imagen

Imagen menggunakan pengekod T5-XXL beku yang besar untuk menyandarkan teks input ke dalam embeddings. Model penyebaran bersyarat memetakan teks yang dibenamkan ke dalam imej 64 × 64. Imagen selanjutnya menggunakan model penyebaran resolusi super-resolusi teks untuk menaikkan imej 64 × 64 → 256 × 256 dan 256 × 256 → 1024 × 1024.

Penilaian model imagen

DeepMind menilai model Imagen 3, yang merupakan konfigurasi kualiti terbaik, terhadap Imagen 2 dan model luaran Dall · E 3, Midjourney V6, Penyebaran Stabil 3 besar dan stabil XL 1.0. DeepMind mendapati bahawa Imagen 3 menetapkan keadaan baru seni dalam generasi teks-ke-imej melalui penilaian yang ketat oleh manusia dan mesin. Hasil kualitatif dan kesimpulan pada penilaian mengandungi hasil kualitatif dan perbincangan mengenai penemuan dan batasan keseluruhan. Integrasi produk dengan Imagen 3 mungkin menghasilkan prestasi yang berbeza dari konfigurasi yang diuji.

Juga Baca: Cara Menggunakan Dall-E 3 API untuk Generasi Imej?

Penilaian Manusia: Bagaimana Raters menilai kualiti output Imagen 3?

Model penjanaan teks-ke-imej dinilai pada lima aspek kualiti: keutamaan keseluruhan, penjajaran imej cepat, daya tarikan visual, penjajaran imej yang terperinci, dan penalaran berangka. Aspek -aspek ini dinilai secara bebas untuk mengelakkan konflik dalam penghakiman. Perbandingan bersebelahan digunakan untuk penghakiman kuantitatif, sementara penalaran berangka dapat dinilai secara langsung dengan mengira berapa banyak objek dari jenis tertentu yang digambarkan dalam imej.

Papan skor ELO yang lengkap dihasilkan melalui perbandingan lengkap setiap sepasang model. Setiap kajian terdiri daripada 2500 penarafan yang diedarkan secara seragam di antara arahan dalam set segera. Model -model ini tidak dikenali dalam antara muka rater, dan sisi -sisi secara rawak digerakkan untuk setiap penarafan. Pengumpulan data dijalankan menggunakan amalan terbaik Google DeepMind mengenai pengayaan data, memastikan semua pekerja pengayaan data dibayar sekurang -kurangnya upah hidup tempatan. Kajian itu mengumpul 366,569 penarafan dalam 5943 penyerahan daripada 3225 yang berbeza. Setiap rater mengambil bahagian paling banyak 10% daripada kajian dan menyediakan kira -kira 2% daripada penilaian untuk mengelakkan keputusan yang berat sebelah kepada satu set penghakiman yang tertentu. Raters dari 71 kebangsaan yang berbeza mengambil bahagian dalam kajian.

Keutamaan Pengguna Keseluruhan: Imagen 3 memimpin dalam Generasi Imej Kreatif

Keutamaan keseluruhan pengguna mengenai imej yang dihasilkan diberikan dengan cepat adalah soalan terbuka, dengan penentu menentukan aspek kualiti yang paling penting. Dua imej telah dibentangkan kepada penilai, dan jika kedua -duanya sama -sama menarik, "Saya acuh tak acuh."

Keputusan menunjukkan bahawa Imagen 3 jauh lebih disukai pada Genai-Bench, Drawbench, dan Dall · E 3 Eval. Imagen 3 diketuai dengan margin yang lebih kecil pada Drawbench daripada penyebaran stabil 3, dan ia mempunyai sedikit kelebihan pada dall · e 3 eval.

Penjajaran imej cepat: Menangkap niat pengguna dengan ketepatan

Kajian ini menilai perwakilan prompt input dalam kandungan imej output, mengabaikan kelemahan berpotensi atau rayuan estetik. Raters diminta untuk memilih imej yang lebih baik menangkap niat prompt, mengabaikan gaya yang berbeza. Keputusan menunjukkan Imagen 3 mengatasi Genai-Bench, Drawbench, dan Dall · E 3 Eval, dengan selang keyakinan yang bertindih. Kajian ini menunjukkan bahawa mengabaikan kecacatan yang berpotensi atau kualiti buruk dalam imej dapat meningkatkan ketepatan penjajaran imej segera.

Rayuan Visual: Kecemerlangan Estetik di seluruh Platform

Rayuan visual mengukur rayuan imej yang dihasilkan, tanpa mengira kandungan. Raters menilai dua imej bersebelahan tanpa arahan. Midjourney V6 mengetuai, dengan Imagen 3 hampir setanding dengan Genai-Bench, sedikit lebih besar pada Drawbench, dan kelebihan yang signifikan pada Dall · E 3 Eval.

Penjajaran imej yang terperinci

Kajian ini menilai keupayaan penjajaran imej cepat dengan menghasilkan imej dari docci terperinci, yang jauh lebih lama daripada set prompt sebelumnya. Para penyelidik mendapati membaca 100 perkataan meminta terlalu mencabar untuk penilai manusia. Sebaliknya, mereka menggunakan kapsyen berkualiti tinggi gambar rujukan sebenar untuk membandingkan imej yang dihasilkan dengan imej rujukan penanda aras. Para peniaga memberi tumpuan kepada semantik imej, mengabaikan gaya, menangkap teknik, dan kualiti. Keputusan menunjukkan bahawa Imagen 3 mempunyai jurang yang ketara sebanyak 114 mata Elo dan kadar kemenangan 63% terhadap model kedua terbaik, yang menonjolkan keupayaan tertunggaknya dalam mengikuti kandungan terperinci input input.

Penalaran Berangka: Mengatasi Pertandingan dalam Ketepatan Pengiraan Objek

Kajian ini menilai keupayaan model untuk menghasilkan bilangan objek yang tepat menggunakan tugas penanda aras geckonum. Tugas ini melibatkan membandingkan bilangan objek dalam imej kepada kuantiti yang dijangkakan yang diminta dalam prompt. Model -model ini mempertimbangkan atribut seperti hubungan warna dan spatial. Keputusan menunjukkan bahawa Imagen 3 adalah model terkuat, mengatasi Dall · E 3 dengan 12 mata peratusan. Ia juga mempunyai ketepatan yang lebih tinggi apabila menghasilkan imej yang mengandungi 2-5 objek dan prestasi yang lebih baik pada struktur ayat yang lebih kompleks.

Penilaian automatik: Membandingkan model dengan klip, tokek, dan vqascore

Dalam tahun-tahun kebelakangan ini, metrik penilaian automatik (auto-eval) seperti Clip dan VQASCore telah menjadi lebih banyak digunakan untuk mengukur kualiti model teks-ke-imej. Kajian ini memberi tumpuan kepada metrik auto-eval untuk penjajaran imej segera dan kualiti imej untuk melengkapkan penilaian manusia.

Penjajaran imej prompt

Para penyelidik memilih tiga metrik penjajaran imej auto-eval yang kuat: pengekod dwi kontrasif (klip), berasaskan VQA (Gecko), dan LVLM berasaskan prompt (pelaksanaan VQASCore2). Keputusan menunjukkan bahawa klip sering gagal meramalkan pesanan model yang betul, sementara Gecko dan Vqascore melakukan dengan baik dan bersetuju tentang 72% masa. Vqascore mempunyai kelebihan kerana ia sepadan dengan penarafan manusia 80% masa, berbanding dengan 73.3% Gecko. Gecko menggunakan tulang belakang yang lebih lemah, Pali, yang mungkin menyumbang perbezaan prestasi.

Kajian ini menilai empat dataset untuk menyiasat perbezaan model di bawah pelbagai keadaan: Gecko-REL, Docci-Test-Pivots, Dall · E 3 Eval, dan Genai-Bench. Keputusan menunjukkan bahawa Imagen 3 secara konsisten mempunyai prestasi penjajaran tertinggi. SDXL 1 dan Imagen 2 secara konsisten kurang berprestasi daripada model lain.

Kualiti imej

Mengenai kualiti imej, para penyelidik membandingkan pengedaran imej yang dihasilkan oleh Imagen 3, SDXL 1, dan Dall · E 3 pada 30,000 sampel pengesahan MSCOCO-Caption yang ditetapkan menggunakan ruang ciri yang berbeza dan metrik jarak. Mereka memerhatikan bahawa meminimumkan tiga metrik ini adalah perdagangan, memihak kepada penjanaan warna dan tekstur semulajadi tetapi gagal mengesan gangguan pada bentuk objek dan bahagian. Imagen 3 membentangkan nilai CMMD yang lebih rendah daripada tiga model, yang menonjolkan prestasi yang kukuh pada metrik ruang ciri terkini.

Hasil kualitatif: menonjolkan perhatian imagen 3 terhadap perincian

Imej di bawah menunjukkan 2 imej yang dinaikkan kepada 12 megapiksel, dengan tanaman yang menunjukkan tahap terperinci.

Kesimpulan pada penilaian

Imagen 3 adalah model teratas dalam penjajaran imej yang cepat, terutamanya dalam petunjuk terperinci dan menghitung kebolehan. Dari segi rayuan visual, Midjourney v6 memimpin, dengan Imagen 3 datang dalam kedua. Walau bagaimanapun, ia masih mempunyai kelemahan dalam keupayaan tertentu, seperti penalaran berangka, penalaran skala, frasa komposisi, tindakan, penalaran spatial, dan bahasa yang kompleks. Model -model ini berjuang dengan tugas -tugas yang memerlukan penalaran berangka, penalaran skala, frasa komposisi, dan tindakan. Secara keseluruhan, Imagen 3 adalah pilihan terbaik untuk output berkualiti tinggi yang menghormati niat pengguna.

Mengakses Imagen 3 melalui Vertex AI: Panduan untuk Integrasi Lancar

Menggunakan Vertex AI

Untuk memulakan menggunakan Vertex AI, anda mesti mempunyai projek Google Cloud sedia ada dan membolehkan API AI Vertex. Ketahui lebih lanjut mengenai menubuhkan projek dan persekitaran pembangunan.

Juga, inilah pautan github - rujuk

 import vertexai

dari vertexai.preview.vision_models import ImageGenerationModel

# TODO (Pemaju): Kemas kini ID Projek anda dari Vertex AI Console

project_id = "project_id"

vertexai.init (project = project_id, location = "us-central1")

generasi_model = imageGenerationModel.From_pretrained ("Imagen-3.0-Generate-001")

prompt = "" "

Imej photorealistik buku masakan yang terletak di atas meja dapur kayu, penutup yang menghadap ke hadapan memaparkan keluarga tersenyum yang duduk di meja yang sama, pencahayaan overhead yang lembut yang menerangi tempat kejadian, buku masakan adalah tumpuan utama imej.

"" "

image = generasi_model.generate_images (

    prompt = prompt,

    nombor_of_images = 1,

    aspect_ratio = "1: 1",

    keselamatan_filter_level = "block_some",

    person_generation = "Allow_all",

)

Rendering teks

Imagen 3 juga membuka kemungkinan baru mengenai penyajian teks di dalam imej. Mewujudkan imej poster, kad, dan jawatan media sosial dengan kapsyen dalam fon dan warna yang berbeza adalah cara yang baik untuk bereksperimen dengan alat ini. Untuk menggunakan fungsi ini, tuliskan penerangan ringkas tentang apa yang anda ingin lihat dengan segera. Mari kita bayangkan anda mahu menukar sampul buku masakan dan tambahkan tajuk.

 prompt = "" "

Imej photorealistik buku masakan yang terletak di atas meja dapur kayu, penutup yang menghadap ke hadapan memaparkan keluarga tersenyum yang duduk di meja yang sama, pencahayaan overhead yang lembut yang menerangi tempat kejadian, buku masakan adalah tumpuan utama imej.

Tambah tajuk ke pusat penutup buku masakan yang berbunyi, "Resipi Setiap Hari" dalam Surat Blok Orange. 

"" "

image = generasi_model.generate_images (

    prompt = prompt,

    nombor_of_images = 1,

    aspect_ratio = "1: 1",

    keselamatan_filter_level = "block_some",

    person_generation = "Allow_all",

)

Mengurangkan latensi

DeepMind menawarkan Imagen 3 cepat, model yang dioptimumkan untuk kelajuan generasi, sebagai tambahan kepada Imagen 3, model berkualiti tinggi setakat ini. Imagen 3 cepat sesuai untuk menghasilkan imej dengan kontras dan kecerahan yang lebih besar. Anda boleh melihat pengurangan 40% dalam latensi berbanding Imagen 2. Anda boleh menggunakan prompt yang sama untuk membuat dua imej yang menggambarkan kedua -dua model ini. Mari buat dua alternatif untuk foto salad yang boleh kita sertakan dalam buku masakan yang disebutkan sebelumnya.

 generasi_model_fast = imageGenerationModel.from_pretrained (

    "Imagen-3.0-fast-generate-001"

)

prompt = "" "

Imej photorealistik salad taman yang melimpah dengan sayur -sayuran berwarna -warni seperti lada loceng, timun, tomato, dan sayur -sayuran berdaun, duduk di dalam mangkuk kayu di tengah -tengah imej di atas meja marmar putih. Cahaya semulajadi menerangi adegan, membuang bayang -bayang lembut dan menonjolkan kesegaran bahan -bahan. 

"" " 

# Imagen 3 Generasi Imej Cepat

fast_image = generasi_model_fast.generate_images (

    prompt = prompt,

    nombor_of_images = 1,

    aspect_ratio = "1: 1",

    keselamatan_filter_level = "block_some",

    person_generation = "Allow_all",

)

 prompt = "" "

Imej photorealistik salad taman yang melimpah dengan sayur -sayuran berwarna -warni seperti lada loceng, timun, tomato, dan sayur -sayuran berdaun, duduk di dalam mangkuk kayu di tengah -tengah imej di atas meja marmar putih. Cahaya semulajadi menerangi adegan, membuang bayang -bayang lembut dan menonjolkan kesegaran bahan -bahan. 

"" " 

# Imagen 3 Generasi Imej

image = generasi_model.generate_images (

    prompt = prompt,

    nombor_of_images = 1,

    aspect_ratio = "1: 1",

    keselamatan_filter_level = "block_some",

    person_generation = "Allow_all",

)

Menggunakan Gemini

Gemini menyokong menggunakan Imagen 3 baru, jadi kami menggunakan Gemini untuk mengakses Imagen 3. Dalam imej di bawah, kita dapat melihat bahawa Gemini menghasilkan imej menggunakan Imagen 3.

Prompt - "Menjana imej singa yang berjalan di jalan -jalan bandar. Jalan raya mempunyai kereta, basikal, dan bas. Pastikan untuk menjadikannya realistik"

Kesimpulan

Google's Imagen 3 menetapkan penanda aras baru untuk sintesis teks-ke-imej, yang cemerlang dalam photorealisme dan pengendalian kompleks dengan ketepatan yang luar biasa. Prestasi yang kukuh merentasi penanda aras penilaian berganda menyoroti keupayaannya dalam penjajaran imej dan rayuan visual yang terperinci, melampaui model seperti Dall · E 3 dan penyebaran yang stabil. Walau bagaimanapun, ia masih menghadapi cabaran dalam tugas yang melibatkan penalaran berangka dan spatial. Dengan penambahan Imagen 3 cepat untuk mengurangkan latensi dan integrasi dengan alat seperti Vertex AI, Imagen 3 membuka kemungkinan menarik untuk aplikasi kreatif, menolak sempadan AI multimodal.

Jika anda sedang mencari kursus AI generatif dalam talian, kemudian meneroka - program Pinnacle Genai hari ini!

Soalan yang sering ditanya

Q1. Apa yang menjadikan Google's Imagen 3 menonjol dalam sintesis teks-ke-imej?

Ans Imagen 3 cemerlang dalam photorealisme dan pengendalian segera yang rumit, memberikan kualiti imej yang unggul dan penjajaran dengan input pengguna berbanding dengan model lain seperti Dall · E 3 dan penyebaran stabil.

S2. Bagaimanakah Imagen 3 mengendalikan kompleks?

Ans. Imagen 3 direka untuk menguruskan arahan terperinci dan panjang dengan berkesan, menunjukkan prestasi yang kuat dalam penjajaran imej cepat dan perwakilan kandungan terperinci.

Q3. Apakah dataset yang digunakan untuk melatih Imagen 3?

Ans. Model ini dilatih pada dataset yang besar dan pelbagai dengan teks, imej, dan anotasi, ditapis untuk mengecualikan kandungan AI yang dihasilkan, imej berbahaya, dan data berkualiti rendah.

Q4. Bagaimanakah Imagen 3 cepat berbeza dari versi standard?

Ans. Imagen 3 Fast dioptimumkan untuk kelajuan, menawarkan pengurangan 40% dalam latensi berbanding dengan versi standard sambil mengekalkan penjanaan imej berkualiti tinggi.

S5. Bolehkah Imagen 3 diintegrasikan ke dalam persekitaran pengeluaran?

Ans. Ya, Imagen 3 boleh digunakan dengan Vertex AI Google Cloud, yang membolehkan integrasi lancar ke dalam aplikasi untuk penjanaan imej dan tugas kreatif.

Atas ialah kandungan terperinci Adakah Google's Imagen 3 Masa Depan Penciptaan Imej AI?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!