Apple entwickelt „KI-Architekt“ GAUDI: Erzeugt ultrarealistische 3D-Szenen basierend auf Text!

Heutzutage werden von Zeit zu Zeit neue textgenerierte Bildmodelle veröffentlicht, und jedes davon hat sehr starke Auswirkungen. Dieses Feld hat bereits den Himmel erreicht. Allerdings können KI-Systeme wie DALL-E 2 von OpenAI oder Imagen von Google nur zweidimensionale Bilder erzeugen. Wenn Text auch in eine dreidimensionale Szene umgewandelt werden kann, verdoppelt sich das visuelle Erlebnis. Jetzt hat das KI-Team von Apple die neueste neuronale Architektur für die 3D-Szenengenerierung auf den Markt gebracht – GAUDI. Es kann komplexe und realistische 3D-Szenenverteilungen erfassen, immersiv von mobilen Kameras aus rendern und 3D-Szenen basierend auf Textaufforderungen erstellen! Das Modell ist nach Antoni Gaudi benannt, einem berühmten spanischen Architekten.

Papieradresse: https://arxiv.org/pdf/2207.13751.pdf#🎜 🎜#

1

3D-Rendering basierend auf NeRFs

Neuronales Rendering kombiniert Computergrafik mit künstlicher Intelligenz Es wurden viele Systeme zur Generierung von 3D-Modellen aus 2D-Bildern hergestellt. Beispielsweise kann das kürzlich von Nvidia entwickelte 3D MoMa ein 3D-Modell aus weniger als 100 Fotos in einer Stunde erstellen. Google setzt außerdem auf Neural Radiation Fields (NeRFs), um 2D-Satelliten- und Street View-Bilder in 3D-Szenen in Google Maps zu kombinieren und so immersive Ansichten zu erzielen. HumanNeRF von Google kann auch 3D-menschliche Körper aus Videos rendern.

Derzeit werden NeRFs hauptsächlich als neuronales Speichermedium für 3D-Modelle und 3D-Szenen verwendet, die aus verschiedenen Kameraperspektiven gerendert werden können. NeRFs werden auch bereits in Virtual-Reality-Erlebnissen eingesetzt.

Können NeRFs mit ihrer leistungsstarken Fähigkeit, Bilder aus verschiedenen Kamerawinkeln realistisch zu rendern, in der generativen KI eingesetzt werden? Natürlich gibt es Forschungsteams, die versucht haben, 3D-Szenen zu generieren. Google hat beispielsweise letztes Jahr erstmals das KI-System Dream Fields auf den Markt gebracht. Es kombiniert die Fähigkeit von NeRF, 3D-Ansichten zu generieren, mit der Fähigkeit von OpenAI, Bildinhalte auszuwerten und erreicht schließlich die Fähigkeit, eine NeRF-passende Textbeschreibung zu generieren.

Bildunterschrift: Google Dream Fields

# 🎜🎜#

Allerdings kann Googles Dream Fields nur eine 3D-Ansicht eines einzelnen Objekts generieren, und es gibt immer noch viele Schwierigkeiten, diese auf eine völlig uneingeschränkte 3D-Szene zu erweitern. Die größte Schwierigkeit besteht darin, dass es große Einschränkungen hinsichtlich der Position der Kamera gibt. Für ein einzelnes Objekt kann jede mögliche und sinnvolle Kameraposition einer Kuppel zugeordnet werden, in einer 3D-Szene wird die Position der Kamera jedoch durch Objekte beeinflusst und Wände usw. Hindernisbeschränkungen. Wenn diese Faktoren bei der Szenengenerierung nicht berücksichtigt werden, wird es schwierig, eine 3D-Szene zu generieren.

2 3D-Rendering-Experte GAUDI

Für das oben genannte Problem der begrenzten Kameraposition kommt Apples GAUDI-Modell Drei spezialisierte Netzwerke machen es einfach: GAUDI verfügt über einen

Kamera-Posendecoder, , der die Kamera-Pose von der 3D-Geometrie und dem Erscheinungsbild der Szene trennt und die mögliche Position der Kamera vorhersagen kann Stellen Sie sicher, dass die Ausgabe ein gültiger Speicherort für die 3D-Szenenarchitektur ist.

Hinweis: Decoder-Modellarchitektur #🎜🎜 #Für SzenenSzenendecoder

kann die Darstellung einer dreidimensionalen Ebene vorhersagen, bei der es sich um eine 3D-Leinwand handelt.

Dann verwendet Radiation Field Decoder die Volumenwiedergabegleichung auf dieser Leinwand, um nachfolgende Bilder zu zeichnen. GAUDIs 3D-Generierung besteht aus zwei Phasen:

Eine davon ist die Optimierung latenter und Netzwerkparameter: Lernen latenter Darstellungen, die die 3D-Strahlungsfelder und entsprechenden Kamerapositionen von Tausenden von Flugbahnen kodieren. Anders als bei einem einzelnen Objekt variiert die effektive Kameraposition je nach Szene, daher ist es notwendig, die gültige Kameraposition für jede Szene zu kodieren.

Die zweite besteht darin, das Diffusionsmodell zu verwenden, um ein generatives Modell für die latente Darstellung zu lernen, damit es sowohl bei bedingten als auch bei bedingungslosen Argumentationsaufgaben gut modelliert werden kann. Ersteres generiert 3D-Szenen basierend auf Text- oder Bildaufforderungen, während letzteres 3D-Szenen basierend auf Kamerabahnen generiert.

Mit 3D-Indoor-Szenen kann GAUDI neue Kamerabewegungen generieren. Wie in einigen der folgenden Beispiele enthält die Textbeschreibung Informationen zur Szene und zum Navigationspfad. Hier übernahm das Forschungsteam einen vorab trainierten RoBERTa-basierten Textencoder und nutzte dessen Zwischendarstellung, um das Diffusionsmodell anzupassen. Der erzeugte Effekt ist wie folgt: Textaufforderung: Gehen Sie in die Küche

Textaufforderung: Los oben

Textaufforderung: Durch den Korridor gehen

Darüber hinaus ist GAUDI mit vortrainiertem ResNet-18 als Bildkodierer in der Lage, das Strahlungsfeld eines bestimmten Bildes abzutasten aus zufälligen Blickwinkeln beobachtet, wodurch 3D-Szenen aus Bildhinweisen erstellt werden. Bildtipps:

3D-Szene generieren:

Bildtipp:

3D-Szene generieren:

Forscher haben an vier verschiedenen Daten Experimente durchgeführt an einer Reihe von Modellen, einschließlich des Indoor-Scanning-Datensatzes ARKitScences, und zeigen, dass GAUDI gelernte Ansichten rekonstruieren und die Qualität bestehender Methoden erreichen kann. Selbst bei der riesigen Aufgabe, 3D-Szenen mit Hunderttausenden Bildern für Tausende Innenszenen zu erstellen, litt GAUDI nicht unter Moduskollaps oder Orientierungsproblemen.

GAUDI wird nicht nur Auswirkungen auf viele Computer-Vision-Aufgaben haben, sondern seine Fähigkeiten zur Generierung von 3D-Szenen werden auch Forschungsfeldern wie modellbasiertem Verstärkungslernen und -planung, SLAM und der Produktion von 3D-Inhalten zugute kommen.

Derzeit ist die Qualität des von GAUDI generierten Videos nicht hoch und es sind viele Artefakte zu sehen. Dieses System könnte jedoch ein guter Anfang und eine gute Grundlage für Apples fortlaufendes KI-System zum Rendern von 3D-Objekten und -Szenen sein. Es heißt, dass GAUDI auch auf Apples XR-Headsets angewendet wird, um digitale Positionen zu generieren. Du kannst dich darauf freuen~

Das obige ist der detaillierte Inhalt vonApple entwickelt „KI-Architekt“ GAUDI: Erzeugt ultrarealistische 3D-Szenen basierend auf Text!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!