He Kaiming kooperiert mit dem MIT: Ein einfaches Framework schafft den neuesten Durchbruch in der bedingungslosen Bilderzeugung

Der große Chef He Yuming ist dem MIT noch nicht offiziell beigetreten, aber die erste gemeinsame Forschung mit dem MIT ist herausgekommen:

Er und MIT-Lehrer und -Schüler haben ein selbstbedingtes Bilderzeugungs-Framework namens RCG entwickelt ( Der Code war Open Source) .

Diese Framework-Struktur ist sehr einfach, aber die Wirkung ist hervorragend. Sie implementiert das neue SOTA der bedingungslosen Bildgenerierung direkt auf den ImageNet-1K-Datensatz.

Die von ihm generierten Bilder erfordern keine menschlichen Anmerkungen (d. h. Aufforderungswörter, Klassenbeschriftungen usw.) und können sowohl Wiedergabetreue als auch Vielfalt erreichen.

Auf diese Weise verbessert es nicht nur das Niveau der bedingungslosen Bildgenerierung erheblich, sondern konkurriert auch mit den derzeit besten bedingten Generierungsmethoden.

In den Worten des Teams von He Yuming:

Die langjährige Leistungslücke zwischen bedingten und bedingungslosen Generierungsaufgaben wurde in diesem Moment endlich geschlossen.

Also, wie genau geht das?

Selbstbedingte Generierung ähnlich dem selbstüberwachten Lernen

Zunächst bedeutet die sogenannte bedingungslose Generierung, dass das Modell den Inhalt der Datenverteilungsgenerierung ohne die Hilfe von Eingabesignalen direkt erfasst.

Diese Art des Trainings ist schwierig, daher gab es immer eine große Leistungslücke bei der bedingten Generierung – genauso wie unbeaufsichtigtes Lernen nicht mit überwachtem Lernen vergleichbar ist

So wie selbstüberwachtes Lernen entstanden ist, hat es auch diese Situation verändert

Im Bereich der bedingungslosen Bildgenerierung gibt es auch eine selbstbedingte Generierungsmethode, die dem Konzept des selbstüberwachten Lernens ähnelt.

Im Vergleich zur herkömmlichen bedingungslosen Generierung, die einfach die Rauschverteilung auf die Bildverteilung abbildet, setzt diese Methode den Pixelgenerierungsprozess hauptsächlich auf eine Darstellungsverteilung, die von der Datenverteilung selbst abgeleitet ist.

Es wird erwartet, dass es über die bedingte Bildgenerierung hinausgeht und die Entwicklung von Anwendungen wie Molekulardesign oder Arzneimittelentwicklung fördert, die keine menschliche Annotation erfordern (Aus diesem Grund entwickelt sich die bedingte Bildgenerierung so gut, wir sollten auch darauf achten zur bedingungslosen Generation).

Auf der Grundlage dieses Konzepts der selbstbedingten Erzeugung entwickelte das Team von He Kaiming nun zunächst ein Repräsentationsdiffusionsmodell RDM.

Abgefangen vom Bild durch einen selbstüberwachten Bildencoder, der hauptsächlich zur Generierung einer niedrigdimensionalen selbstüberwachten Bilddarstellung verwendet wird

Seine Kernarchitektur ist wie folgt:

Erstens ist die Eingabeschicht, die dafür verantwortlich ist Projizieren der Darstellung auf die verborgene Dimension C, gefolgt von N vollständig verbundenen Blöcken und schließlich einer Ausgabeschicht, die für die Neuprojektion (Konvertierung) der latenten Merkmale der verborgenen Schicht in die ursprüngliche Darstellungsdimension verantwortlich ist.

Jede Ebene umfasst eine LayerNorm-Ebene, eine SiLU-Ebene und eine lineare Ebene.

Ein solches RDM hat zwei Vorteile:

Eines seiner Merkmale ist, dass es eine starke Diversität aufweist, und das andere ist, dass der Rechenaufwand gering ist.

Danach schlug das Team mithilfe von RDM den heutigen Protagonisten vor : stellt die bedingte Bildgenerierungsarchitektur RCG dar.

Es handelt sich um ein einfaches Framework zur selbstbedingten Generierung, das aus drei Komponenten besteht:

Eine davon ist ein SSL-Bildkodierer , der zum Konvertieren der Bildverteilung in verwendet wird Eine Kompaktheit repräsentiert die Verteilung.

Eines ist das RDM, das zum Modellieren und Abtasten dieser Verteilung verwendet wird.

Der letzte ist ein Pixelgenerator MAGE, der verwendet wird, um das Bild entsprechend der Darstellung zu verarbeiten.

MAGE funktioniert, indem es dem tokenisierten Bild eine zufällige Maske hinzufügt und das Netzwerk auffordert, das fehlende Token zu rekonstruieren, abhängig von der aus demselben Bild extrahierten Darstellung Die Struktur dieses selbstbedingten Generierungsrahmens ist einfach, aber seine Wirkung ist sehr gut. Auf ImageNet 256×256 erreichte RCG einen FID von

3,56 und einen IS von 186,9 (Inception Score).

Im Vergleich dazu hat die bisher leistungsstärkste bedingungslose Generierungsmethode einen FID-Wert von 7,04 und einen IS-Wert von 123,5.

Für RCG ist die Leistung nicht nur bei der bedingten Generierung gut, sondern auch auf dem gleichen Niveau oder übertrifft sogar Benchmark-Modelle in diesem Bereich und 253,4

(IS)

. Das Team äußerte: Diese Ergebnisse zeigen, dass das bedingte Bildgenerierungsmodell großes Potenzial hat und eine neue Ära in diesem Bereich einläuten könnte.

Vorstellung des Teams:

Einer Autor Er ist Li Tianhong, ein Doktorand am MIT. Er hat seinen Bachelor-Abschluss an der Yao-Klasse gemacht. Seine Forschungsrichtung ist modalübergreifende integrierte Sensortechnologie.

Seine persönliche Homepage ist sehr interessant und er hat auch eine Rezeptsammlung – Forschung und Kochen sind die beiden Dinge, die ihm am meisten am Herzen liegen

Der andere Autor kommt vom Department of Electrical Engineering and Computer Science am MIT (EECS) Professorin Dina Katabi, Direktorin des MIT Wireless Networks and Mobile Computing Center, ist die Gewinnerin des diesjährigen Sloan-Preises und wurde zur Akademikerin der National Academy of Sciences gewählt.

Der korrespondierende Autor ist schließlich He Mingming. Er wird nächstes Jahr offiziell in die akademische Welt zurückkehren und Meta verlassen, um an die Fakultät für Elektrotechnik und Informatik am MIT zu gehen, wo er Kollege von Dina Katabi wird.

Bitte klicken Sie auf den folgenden Link, um das Papier anzuzeigen: https://arxiv.org/abs/2312.03701

Das obige ist der detaillierte Inhalt vonHe Kaiming kooperiert mit dem MIT: Ein einfaches Framework schafft den neuesten Durchbruch in der bedingungslosen Bilderzeugung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!