NVIDIA kündigt das Neuralangelo-KI-Modell an, das Videoinhalte in hochpräzise 3D-Modelle umwandeln kann

IT House News Am 2. Juni kündigte Nvidia diese Woche die Einführung eines KI-Modells namens Neuralangelo an, das Videoclips in 3D-Modelle mit hohem Detaillierungsgrad und Texturen umwandeln kann.

▲ Bildquelle NVIDIA

IT House erkundigte sich und erfuhr, dass es mehrere KIs gibt, die 3D-Modelle basierend auf Videoinhalten generieren, diese KIs jedoch oft nicht starten können, wenn sie mit kontrastarmen Videos konfrontiert werden. Das Neuralangelo-Modell von Nvidia verwendet sofortige neuronale Grafikprimitive und nutzt seine eigene Instant NeRF-Technologie, sodass selbst Videos mit geringem Kontrast subtile Details erfassen und in ein kommerzielleres 3D-Modell umwandeln können.

▲ Bildquelle NVIDIA

NVIDIA betont, dass sich die Einzigartigkeit von Neuralangelo vor allem in seiner „Genauigkeit“ und „Universalität“ widerspiegelt:

• Genauigkeit bedeutet, dass das Modell die Textur komplexer Materialien wie Dachziegel, Glasscheiben und glatten Marmor genau darstellen kann
;
• „Universal“ bedeutet, dass Entwickler einfach mit Smartphones aufgenommenes Videomaterial verwenden können, um realistische Objekte zu erstellen und diese in ihre Projekte zu integrieren.

▲ Bildquelle NVIDIA

Das Neuralangelo-Modell verwendet Videos von Gegenständen, die aus verschiedenen Blickwinkeln aufgenommen wurden, als Eingabematerial, um die Modelle zu generieren, die die Ersteller benötigen. Sobald Neuralangelo die Bewegung der Kamera im Video bestimmt, erstellt es einen 3D-Umriss des Modells und beginnt mit dem Herausarbeiten von Details.

▲ Bildquelle NVIDIA

Nvidia wird das Neuralangelo-Modell voraussichtlich auf der Computer Vision and Pattern Recognition (CVPR)-Konferenz vorstellen, die vom 18. bis 22. Juni stattfindet. Bei internen Vorführungen zeigte NVIDIA restaurierte 3D-Modelle von Alltagsgegenständen wie Michelangelos berühmte Skulptur „David“, die nach dem Neuralangelo-Modell rekonstruiert wurde, NVIDIAs Büros in der Bay Area und Tieflader.

▲ Bildquelle NVIDIA

Zu den von Nvidia auf der Konferenz ausgestellten Modellen gehörte neben Neuralangelo auch ein Modell namens DiffCollage. DiffCollage ist ein KI-Modell, das Videos durch Textaufforderungen generieren kann. Es kann 360-Grad-Panoramabilder und dynamische Bilder in Schleife erzeugen und diese Bilder dann zu bestimmten Videos erweitern.

Ming-Yu Liu, leitender Direktor von NVIDIA Research und Autor des Papiers, äußerte sich zur Bedeutung dieser Forschung:

Die von Neuralangelo bereitgestellten 3D-Rekonstruktionsfunktionen werden den Entwicklern enorme Vorteile bringen und ihnen helfen, die reale Welt in der digitalen Welt nachzubilden. Dieses Tool wird es Entwicklern schließlich ermöglichen, detaillierte Objekte – seien es kleine Statuen oder große Gebäude – in virtuelle Umgebungen in Videospielen oder industrielle digitale Zwillinge zu importieren.

Freunde von IT House finden den spezifischen Inhalt des Papiers hier.

Das obige ist der detaillierte Inhalt vonNVIDIA kündigt das Neuralangelo-KI-Modell an, das Videoinhalte in hochpräzise 3D-Modelle umwandeln kann. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!