Mollick membentangkan makna model penjanaan imej baru

Baru -baru ini, model generasi imej baru yang dikeluarkan oleh Google dan Openai telah menarik perhatian yang meluas, dan teknologi terasnya sama sekali berbeza dengan model sebelumnya. Artikel Ethan Mollick dalam satu perkara yang berguna meneroka mekanisme kerja model -model baru ini dan kesannya kepada pengguna manusia. Artikel ini akan menafsirkan pandangan Mollick.

Potensi generasi imej multimodal

Mollick menegaskan bahawa sistem penjanaan imej tradisional adalah hasil kerja kolaboratif pelbagai model, dan bukan satu model melengkapkan semua tugas.

"Pada masa lalu, model bahasa yang besar (LLM) yang dihasilkan tidak dilakukan secara langsung oleh LLM. AI akan menghantar teks kepada alat penjanaan imej bebas dan kemudian memaparkan hasilnya.

Model penyebaran telah menjadi perkara masa lalu

Model lama bergantung terutamanya pada kerja model penyebaran. Prinsip kerja model penyebaran adalah: memperkenalkan imej ke dalam bunyi bising, melakukan pemprosesan abstraksi, dan kemudian keluarkan bunyi untuk menghasilkan imej yang sepadan dengan prompt di perpustakaan imej komputer yang diketahui.

Walau bagaimanapun, batasan kaedah ini adalah bahawa imej yang dihasilkan tidak mempunyai alasan dan penghakiman model sendiri, dan hanya gabungan mudah perpustakaan imej yang sedia ada dan tidak dapat memberikan maklumat yang berharga.

Kelebihan kawalan multimodal

Hari ini, kemunculan teknologi kawalan multimodal telah mengubah keadaan ini sepenuhnya.

Mollick memberikan contoh: mendorong model untuk menghasilkan "bilik tanpa gajah dan menandakan sebabnya". Model tradisional menghasilkan imej yang mengandungi gajah kerana ia tidak dapat memahami konteks prompt. Teks yang dihasilkan juga mungkin tidak bermakna atau bahkan mengandungi aksara fiksyen, kerana pemahaman model tentang huruf juga berpunca daripada data latihan.

Model multimodal dapat menghasilkan imej yang memenuhi keperluan dan menambah komen, seperti "pintu terlalu kecil", menjelaskan mengapa tidak ada gajah di dalam bilik.

Cabaran hujung dari model tradisional

Kelemahan model tradisional yang signifikan ialah apabila ia diperlukan untuk mengecualikan elemen, ia akan mengandungi elemen itu kerana ia tidak dapat memahami arahan. Di samping itu, setiap pengubahsuaian atau pelarasan mengubah struktur asas imej. Sebagai contoh, mengubahsuai topi watak boleh membawa kepada perubahan lengkap dalam imej watak.

Model penjanaan imej multimodal boleh membuat pelarasan halus berdasarkan mengekalkan hasil asal.

Penyelenggaraan alam sekitar

Mollick juga menunjukkan satu lagi contoh: Otter memegang item tertentu dalam satu tangan dan kemudian muncul dalam konteks yang berbeza dan dalam gaya yang berbeza. Ini menunjukkan keupayaan integrasi halus penjana imej multimodal.

Persembahan lengkap

Mollick juga menunjukkan cara merancang persembahan lengkap menggunakan model multimodal, seperti cadangan mengenai guacamole. Hanya berikan arahan mudah, dan model boleh mencari maklumat yang relevan di Internet, mengintegrasikannya, dan menghasilkan hasil akhir.

Seperti yang dikatakan Mollick, ini dengan cepat akan membawa kepada penggantian banyak kerja manusia. Kita perlu mempertimbangkan untuk mewujudkan rangka kerja yang sama.

Atas ialah kandungan terperinci Mollick membentangkan makna model penjanaan imej baru. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!