Princeton Infinigen Matrix ist geöffnet! Der KI-Schöpfer erschafft die Natur zu 100 % so lebensecht, dass sie explodiert

Neo entdeckt, dass die Welt, in der er lebt, nicht real ist, sondern eine sorgfältig gestaltete simulierte Realität.

Und haben Sie für einen Moment gedacht, dass die Welt, in der wir leben, eine simulierte Matrixwelt ist?

Und nun ist die Matrix offiziell eröffnet.

Fühlen Sie sich ruhig, diese Erde, auf der Menschen schon lange leben, alles in der Natur ist eine Scheinwelt.

Die Sonne geht über dem arktischen Gletscher auf. In der Unterwasserwelt gibt es allerlei seltsame Fische und bunte Korallenriffe.

Schnee fliegt in den Bergen und Adler schweben am weiten Himmel. In der sengenden Wüste tummeln sich gefährliche Schlangen frei.

Die kleinen Bäume am Fluss brannten vor tosendem Feuer und waren voller Rauch.

Das kristallklare Meer und die Bäche, am Strand faulenzende Schildkröten und viele Libellen, die in der Luft spielen.

Der Wechsel von Licht und Schatten in der Höhle.

Die fallenden Regentropfen und die im Wind fallenden Ahornblätter ließen die Zeit plötzlich stehen bleiben.

Alles, was Sie sehen, wurde von künstlicher Intelligenz entworfen. Ihre Simulationen sind so realistisch, dass sie mit der Realität selbst verwechselt werden.

Das Team, das die Tür zu dieser Matrix geöffnet hat, kommt aus Princeton, und die Recherche sorgte sofort für Aufruhr im Internet.

Netizens haben gesagt, dass es sich herausstellt, dass wir in der Matrix leben!

In der Arbeit stellten die Forscher einen realistischen 3D-Szenen-Prozedurgenerator „Infinigen“ für die natürliche Welt vor.

Infinigen ist vollständig prozedural, von der Form bis zur Textur, alles wird von Grund auf durch zufällige mathematische Regeln generiert.

Auch es kann endlos verändert werden und Pflanzen, Tiere, Gelände in der Natur sowie Naturphänomene wie Feuer, Wolken, Regen und Schnee abdecken.

Das neueste Papier wurde vom CVPR 2023 angenommen.

Papieradresse: https://arxiv.org/pdf/2306.09310.pdf

Infinigen basiert auf dem kostenlosen Open-Source-Grafiktool Blender und Infinigen ist ebenfalls Open Source.

Erwähnenswert ist, dass ein Paar 1080p-Bilder in 3,5 Stunden erstellt werden können!

Infinite CV Data Generator

Infinigen präsentiert von der Princeton University kann leicht angepasst werden, um reale Situationen für eine Vielzahl spezifischer Aufgaben zu generieren.

Das Folgende simuliert die Vielfalt in der Natur.

Und seine wichtigste Rolle besteht darin, dass es als Generator unbegrenzter Trainingsdaten für eine Vielzahl von Computer-Vision-Aufgaben verwendet werden kann.

Dazu gehören Zielerkennung, semantische Segmentierung, Posenschätzung, 3D-Rekonstruktion, Ansichtssynthese und Videogenerierung.

Darüber hinaus kann es auch zum Aufbau einer Simulationsumgebung zum Training physischer Roboter sowie virtueller verkörperter Agenten verwendet werden.

Natürlich sind 3D-Druck, Spieleentwicklung, Virtual Reality, Filmproduktion und allgemeine Content-Erstellung verfügbar.

Als nächstes werfen wir einen Blick auf den Aufbau des Infinigen-Systems.

Vorschau von Blender.

Forscher verwenden Blender hauptsächlich zur Entwicklung von Verfahrensregeln. Blender ist eine Open-Source-3D-Modellierungssoftware, die verschiedene Grundelemente und praktische Werkzeuge bereitstellt.

Blender stellt die Szene als Hierarchie platzierter Objekte dar.

Und der Benutzer modifiziert diese Darstellung, indem er Objekte transformiert, Grundelemente hinzufügt und Netze bearbeitet.

Blender ermöglicht den Import/Export der gängigsten 3D-Dateiformate.

Schließlich kann alles in Blender über die Python-API oder durch Auschecken des Open-Source-Codes automatisiert werden.

Knotenübersetzer.

Als Teil von Infinigen haben Forscher eine Reihe neuer Tools entwickelt, um die prozedurale Modellierung von Forschern zu beschleunigen.

Ein bemerkenswertes Beispiel ist der Node Converter der Forscher, der Knotendiagramme automatisch in Python-Code konvertiert, wie gezeigt.

Der resultierende Code ist allgemeiner und ermöglicht es Forschern, Diagrammstrukturen zu randomisieren, anstatt nur Parameter einzugeben.

Dieses Tool macht Knotendiagramme ausdrucksvoller und ermöglicht eine einfache Integration mit anderen Programmregeln, die direkt in Python oder C++ entwickelt wurden.

Es ermöglicht auch Nicht-Programmierern, Python-Code zu Infinigen beizutragen, indem sie Knotendiagramme erstellen.

Generator-Subsystem. Infinigen besteht aus Generatoren, bei denen es sich um probabilistische Programme handelt, die jeweils auf die Generierung einer Unterklasse von Vermögenswerten (z. B. Berge oder Fische) spezialisiert sind.

Jeder Generator verfügt über eine Reihe übergeordneter Parameter (z. B. die Gesamthöhe des Berges), die vom Benutzer steuerbare externe Freiheitsgrade widerspiegeln.

Standardmäßig erfassen Forscher diese Parameter nach dem Zufallsprinzip, basierend auf Verteilungen, die so abgestimmt sind, dass sie die Natur widerspiegeln, ohne Benutzereingaben.

Benutzer können jedoch auch jeden Parameter überschreiben, indem sie die Python-API des Forschers verwenden, um eine differenzierte Kontrolle über die Datengenerierung zu erreichen.

Das Bild unten ist eine zufällige Szene, die nur Gelände enthält. Die Forscher wählten 13 Bilder verschiedener Naturszenentypen aus.

Das sind: Berge, steigende Flüsse, schneebedeckte Berge, Sonnenaufgänge an der Küste, Unterwasser, arktische Eisberge, Wüsten, Höhlen, Schluchten und schwimmende Inseln.

Das Bild unten ist ein zufällig generiertes Bild, das Feuer simuliert, einschließlich Rauch, Wasserfällen und Vulkanausbruchszenen.

Blätter, Blüten, Pilze, Tannenzapfen.

Bäume, Kakteen, Sträucher.

Meeresleben.

Verschiedene Arten von Oberflächen.

Das Bild unten zeigt die Entstehung von Organismen.

Forscher generierten automatisch verschiedene Genome (a), Körperteile (b), das Spleißen von Körperteilen (c), Haare (d) und Körperhaltung (e).

Auf der rechten Seite des Bildes sind die von den Forschern zufällig generierten Fleischfresser, Pflanzenfresser, Vögel, Käfer und Fische dargestellt.

In der Abbildung unten erstellten die Forscher programmatisch ein zufälliges Szenenlayout (a).

Der Forscher generiert alle notwendigen Bildinhalte (b, um die Farbe jeder Netzfläche anzuzeigen) und wendet programmierte Materialien und Verschiebungen an (c).

Zum Schluss ein echtes Bild rendern (d).

Das Bild unten zeigt die dynamische Auflösungsskalierung.

Die Forscher demonstrierten eine Nahrastervisualisierung von drei Kameras in unterschiedlichen Abständen, aber mit demselben Inhalt.

Obwohl die Rasterauflösung unterschiedlich ist, sind im endgültigen Bild keine Änderungen erkennbar.

Experimentelle Ergebnisse

Um Infinigen zu bewerten, erstellten die Forscher 30.000 Bildpaare mit Ground Truth für rektifiziertes Stereo-Matching.

Die Forscher begannen, RAFTStereo anhand dieser Bilder zu trainieren und verglichen die Ergebnisse mit dem Middlebury-Validierungssatz und dem Testsatz.

Dieser Forschungscode wurde erst heute veröffentlicht und hat bereits 99 Sterne erhalten.

„Westworld“-Déjà-vu

NVIDIA-Wissenschaftler Jim Fan sagte, dass Simulation die nächste „Goldmine“ sei, wenn wir in der Realität keine guten Trainingsdaten hätten.

Hier ist Infinigen ein Open-Source-, programmgesteuert generierter, realistischer Datensatz für 3D-Vision. Die Qualität ist erstaunlich! Keine zwei Welten sind gleich.

▸ Jedes kleine Detail ist zufällig und anpassbar, sogar die Falten auf den Blütenblättern!

▸ Verschiedene Objekte und Szenen in der Natur: Pflanzen, Tiere, Gelände; Wolken, Regen und Schnee.

▸ Automatische Annotation der Grundwahrheit: optischer Fluss, 3D-Szenenfluss, Tiefe, Oberflächennormalenvektor, Panoramasegmentierung, geschlossene Grenze.

▸ Geschrieben in Blender.

Einige Internetnutzer sagten, dass mir das wirklich die Augen öffnet. Generieren Sie prozedural 3D-Welten in Blender. Ohne den Einsatz von KI können Sie jede Welt erschaffen, die Sie sich vorstellen können.

Kombinieren Sie Tools wie Daz3D, um die Welt zu erschaffen, Blockade Labs, um die Skybox zu erschaffen, und Convai, um die NPCs zu erschaffen.

Einige Leute sagten auch, dass Infinigen eine Rolle in der Computer-Vision-Forschung mit künstlicher Intelligenz spielen wird.

Er glaubt, dass künstliche Intelligenz in Zukunft alles regeln wird.

Zum Beispiel wollen wir ein Dorf mit einem Wasserfall in einem nebligen Wald bauen.

Wir weisen eine KI an, eine detaillierte Beschreibung des Waldes zu schreiben und diese an den 3D-Weltgenerator zu senden.

Nachdem die Welt generiert wurde, können Sie dem Dorf Charaktere hinzufügen. Diese Menschen werden von künstlicher Intelligenz gesteuert und werden Interaktionen, Gespräche und Erinnerungen haben.

Eine Art Westworld-Ansturm.

Außerdem sagten einige Internetnutzer, dass es die prozedurale Generierung schon seit 20 Jahren gibt (ich mache das seit 15 Jahren). „No Man’s SKy“ ist ein großartiges Beispiel für die Technologie von vor 5 Jahren.

Das Highlight von Infinigen ist, dass es gelabelte Daten generiert. Mit diesen Daten kann KI trainiert werden. Das ist verrückt.

Einige Internetnutzer stellen sich vor, dass Spiele in naher Zukunft verrückt werden ... „Unabhängige“ Spieleentwickler werden in der Lage sein, einige verrückte High-End-Inhalte herauszubringen.

Die Infinigen-Generation ist so realistisch, dass manche Leute denken, sie sei von der Unreal Engine generiert worden.

Vorstellung des Autors

Alexander Raistrick

Alexander Raistrick ist Doktorand im zweiten Jahr am Fachbereich Informatik der Princeton University und sein Betreuer ist J u.a Deng.

Lahav Lipson

Lahav Lipson ist Doktorand im dritten Jahr an der Princeton University.

Seine Forschung konzentriert sich auf den Aufbau tiefer Netzwerke für das 3D-Sehen und nutzt starke Annahmen zur epipolaren Geometrie, um eine bessere Verallgemeinerung und Testgenauigkeit zu erreichen.

Zeyu Ma

Zeyu Ma ist Doktorand im dritten Jahr am Vision and Learning Laboratory der Princeton University. Im Jahr 2020 erhielt er einen Bachelor-Abschluss in Elektrotechnik von der Tsinghua-Universität. Die aktuelle Forschung konzentriert sich auf die 3D-Rekonstruktion mit mehreren Ansichten und die prozedurale Datengenerierung.

Das obige ist der detaillierte Inhalt vonPrinceton Infinigen Matrix ist geöffnet! Der KI-Schöpfer erschafft die Natur zu 100 % so lebensecht, dass sie explodiert. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!