Kein KI-Inhalt! Reine Zufallsmathematik erzeugt unendlich realistische 3D-Welten, ein Werk eines Chinesen aus Princeton.

Wer hat gesagt, dass die Generierung von Bildern und Videos auf KI angewiesen sein muss?

Das neue Artefakt der Princeton University kann unendlich realistische 3D-Welten erzeugen, mit besonderem Schwerpunkt auf „Keine KI“.

Spüren Sie den Effekt kurz:

Glauben Sie nicht, dass das generierte Video nur ein Video ist , es gibt eine vollständige Dahinter verbergen sich 3D-Assets, die auf Basis der Modellierungssoftware Blender erstellt wurden.

Zu diesem Zeitpunkt folgen mir alle Mixer-Benutzer: Huh?

Auf diese Weise können wir Parameter verwenden, um Details zu steuern:

Oder erhalten Sie die entsprechende optische Flusskarte, optische 3D-Szenenkarte, Tiefenkarte, Panoramasegmentierungskarte usw. und halten Sie sie einfach live verschiedene CV-Missionen.

Das Wichtigste ist, dass es kostenlos und Open Source ist!

Mama muss sich wirklich keine Sorgen mehr machen, dass ich keine hochwertigen 3D-Daten finden kann, um die KI zu füttern...

100 % 3D-Datengenerator basierend auf Zufallsmathematik

Trotz der rasanten Entwicklung der KI sind viele Aufgaben in der Im CV-Bereich mangelt es derzeit noch an qualitativ hochwertigen Daten, insbesondere im 3D-Bereich.

Eine Lösung ist die Verwendung von synthetischen Daten. Es stellt sich heraus, dass Modelle, die auf dieser Art von Daten trainiert wurden, auch bei realen Bildern ohne Stichproben eine sehr gute Leistung erbringen können.

Aber das Problem besteht darin, dass die meisten vorhandenen kostenlosen 3D-Synthesedatentools grundsätzlich auf eine einzige Szene beschränkt sind: entweder im Zusammenhang mit autonomem Fahren oder von Menschenhand geschaffene Objekte in Innenräumen.

Um die Abdeckung insbesondere natürlicher Szenen in der realen Welt zu erweitern, hat der Autor dieses Infinigen basierend auf Blenderbasierend auf zufälligen mathematischen Regeln

erstellt, um unendlich viele verschiedene Szenen zu generieren.

Infinigen verwendet hauptsächlich Blenders „Primitive“

(oder Primitive)

, um eine Programmregelbibliothek zu entwerfen, um die Generierung verschiedener Objekte in echten natürlichen Szenen durch Codierung abzuschließen.

Der Artikel stellt hauptsächlich das Programmsystem von Infinigen vor, einschließlich:
• Node Transpiler
(Knotenkonverter)

, der das Blender-Knotendiagramm automatisch in Python-Code konvertieren kann, um Nicht-Programmierern die Verwendung von Infinigen zu erleichtern.

Wie in der Abbildung unten gezeigt, ist der generierte Code allgemeiner, sodass wir sowohl die Eingabeparameter als auch die Diagrammstruktur randomisieren können.

• Generator-Subsysteme (Generator-Subsystem), die Generatoren von Infinigen sind wahrscheinlichkeitsbasierte Programme, jedes Programm ist der Generierung eines Unterobjekts (wie Berge oder Fische) gewidmet. Jedes Objekt verfügt über eine Reihe übergeordneter Parameter
(z. B. die Gesamthöhe eines Berges)
• , die Benutzer mithilfe der Python-API anpassen können, um eine differenzierte Kontrolle über die Datengenerierung zu erreichen. Materialgeneratoren
(Materialgeneratoren)

, insgesamt 50, jeweils bestehend aus einem Zufalls-Shader, der Farbe und Reflexionsvermögen angeben kann, und einem lokalen Geometriegenerator, der entsprechende feine geometrische Details generiert.

🎜Wie im Bild unten gezeigt, können sehr realistische geometrische Details gewährleistet werden. 🎜

• Terrain Generators (Terrain Generator) Wie im Bild unten gezeigt, kann dieser Generator durch wiederholte Extrusion Felsbrocken erzeugen und das integrierte Plug-In von Blender verwenden, um kleine Steine ​​zu erzeugen.

Und helfen Sie Infinigen dabei, dynamische Flüssigkeiten mit FLIP und Wetter mithilfe des Partikelsystems von Blender zu simulieren.

• Plants & Underwater Object Generators (Plants and Underwater Object Generators), einschließlich der Verwendung von Algorithmen wie Random Walks zur Modellierung des Baumwachstums, was zu einem Baum führt, der eine Vielzahl von Bäumen, Sträuchern und sogar Kakteen in einer 3D-Welt bedeckt.

Oder Sie können Differentialwachstum, Laplace-Wachstum und Reaktionsdiffusion nutzen, um verschiedene Korallen zu erzeugen, und geometrische Knotendiagramme verwenden, um Blätter, Blüten, Algen, Seetang, Weichtiere und Quallen zu erzeugen.

Es gibt auch verschiedene Untergeneratoren (z. B. biologische Generatoren)Ich werde sie nicht einzeln vorstellen.

Darüber hinaus enthält Infinigen auch ein Bildrendering- und Ground Truth-Extraktionsprogramm, das hauptsächlich zum Generieren der unten gezeigten Bildtypen verwendet wird.

Für Ersteres verwendet das System die Pfadverfolgungs-Renderer-Zyklen von Blender, die auf Naturgesetzen basieren, um das Bild zu rendern.

Der Autor stellte vor, dass Blender zwar zur Entwicklung der Programmregeln von Infinigen verwendet wurde, ein großer Teil der Programmgenerierung jedoch außerhalb von Blender abgeschlossen wurde.

Darüber hinaus gaben sie an, dass die Entwicklung von Infinigen ein riesiges Softwareprojekt sei und allein der Hauptzweig seiner Codebasis 40.485 Codezeilen umfasst.

Abschließend wurde Infinigen auf 2 Intel Xeon Silver 4114 @ 2,20 GHz-CPUs und 1 NVidia-GPU einem Benchmarking unterzogen, und die Zeit (Wandzeit) zum Generieren eines Paares von 1080p-Bildern betrug 3,5 Stunden .

Die folgende Tabelle zeigt den Vergleich mit vorhandenen synthetischen Datensätzen oder Generatoren.

Der Autor sagte, dass der größte Vorteil von Infinigen darin besteht, dass es programmgesteuert „unbegrenzte natürliche 3D-Daten“ ohne externe Referenzressourcenbibliothek generieren kann und nichts anderes funktioniert. TeamvorstellungInfinigen wird diesen Mittwoch eine Posterpräsentation auf der CVPR-Konferenz durchführen.

Die Autoren stammen alle vom Vision & Learning Lab der Princeton University.

Drei Co-Autoren, von denen einer

Ma Zeyu

heißt, ist Doktorandin im dritten Jahr an der Princeton University und schloss 2020 ihr Studium an der Tsinghua University mit einem Bachelor-Abschluss in Elektrotechnik ab. Der korrespondierende Autor ist Deng Jia

, außerordentlicher Professor der Fakultät für Informatik an der Princeton University.

Derzeit wurde der Code von Infinigen auf GitHub veröffentlicht, mit 850 Sternen in nur zwei Tagen.

Papier. Adresse:
https://www.php.cn/link/d9812f756d0df06c7381945d2e2c7d4bProjekt Homepage:
https:/ /www.php.cn/link/ca886eb9edb61a42256192745c72cd79
GitHub-Adresse:
https://www.php.cn/link/a1cb608a30fc2883eed0831dcf25f260

Das obige ist der detaillierte Inhalt vonKein KI-Inhalt! Reine Zufallsmathematik erzeugt unendlich realistische 3D-Welten, ein Werk eines Chinesen aus Princeton.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!