suchen
HeimTechnologie-PeripheriegeräteKIKann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle

Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle

Das 19. Jahrhundert war die Zeit, in der die Kunstbewegung des Impressionismus populär war. Die Bewegung hatte Einfluss auf die Bereiche Malerei, Bildhauerei, Druckgrafik und andere Künste. Der Impressionismus zeichnete sich durch die Verwendung kurzer Staccato-Pinselstriche mit geringem Streben nach formaler Präzision aus und entwickelte sich später zum impressionistischen Kunststil. Kurz gesagt, die Pinselstriche des impressionistischen Künstlers sind unverändert, weisen offensichtliche Merkmale auf, streben nicht nach formaler Präzision und sind sogar etwas vage. Impressionistische Künstler führten die wissenschaftlichen Konzepte von Licht und Farbe in Gemälde ein und revolutionierten traditionelle Farbkonzepte.

In D3GA hat der Autor ein einzigartiges Ziel. Er hofft, durch das Gegenteil einen fotorealistischen Leistungseffekt zu erzielen. Um dieses Ziel zu erreichen, nutzte der Autor auf kreative Weise die Gaußsche Splatter-Technologie in D3GA als modernen „Segmentpinselstrich“, um die Struktur und das Erscheinungsbild virtueller Charaktere aufzubauen und einen stabilen Echtzeiteffekt zu erzielen.

Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle

„Sunrise·Impression“ ist das repräsentative Werk des berühmten impressionistischen Malers Monet.

Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle


Um realistische menschliche Bilder zu erstellen, die neue Inhalte für Animationen generieren können, erfordert die Konstruktion von Avataren derzeit eine große Menge an Multiview-Daten. Dies liegt daran, dass monokulare Methoden nur eine begrenzte Genauigkeit aufweisen. Darüber hinaus erfordern bestehende Techniken eine komplexe Vorverarbeitung, einschließlich einer genauen 3D-Registrierung. Die Beschaffung dieser Registrierungsdaten erfordert jedoch eine Iteration und lässt sich nur schwer in einen End-to-End-Prozess integrieren. Darüber hinaus gibt es Methoden, die keine genaue Registrierung erfordern und auf neuronalen Strahlungsfeldern (NeRFs) basieren. Allerdings sind diese Methoden beim Echtzeit-Rendering oft langsam oder haben Schwierigkeiten bei der Kleidungsanimation.

Kerbl et al. schlugen eine Rendering-Methode namens 3D Gaussian Splatting (3DGS) vor, die auf der Grundlage der klassischen Surface Splatting-Rendering-Methode verbessert wurde. Im Vergleich zu modernsten Methoden, die auf neuronalen Strahlungsfeldern basieren, ist 3DGS in der Lage, qualitativ hochwertigere Bilder mit schnelleren Bildraten und ohne die Notwendigkeit einer hochpräzisen 3D-Initialisierung zu rendern.

Allerdings wurde 3DGS ursprünglich für statische Szenen entwickelt. Gegenwärtig haben einige Leute die auf Zeitbedingungen basierende Gaußsche Splating-Methode vorgeschlagen, mit der dynamische Szenen gerendert werden können. Diese Methode kann nur das wiedergeben, was zuvor beobachtet wurde, und ist daher nicht geeignet, neue oder bisher ungesehene Bewegungen auszudrücken.

Basierend auf dem angetriebenen neuronalen Strahlungsfeld modelliert der Autor das Aussehen und die Verformung von 3D-Menschen, indem er sie in einen normalisierten Raum platziert, aber 3D-Gaußsche Operatoren anstelle von Strahlungsfeldern verwendet. Neben einer besseren Leistung macht Gaussian Splatting die Verwendung der Kamerastrahl-Sampling-Heuristik überflüssig.

Das verbleibende Problem besteht darin, die Signale zu definieren, die diese Käfigverformungen auslösen. Aktuelle hochmoderne Technologien in fahrerbasierten Avataren erfordern dichte Eingangssignale, wie etwa RGB-D-Bilder oder sogar mehrere Kameras, aber diese Methoden sind möglicherweise nicht für Situationen geeignet, in denen die Übertragungsbandbreite relativ gering ist. In dieser Studie verwenden die Autoren kompaktere Eingaben, die auf menschlichen Posen basieren, einschließlich Skelettgelenkwinkeln und 3D-Gesichtsschlüsselpunkten in Form von Quaternionen.

Durch das Training individueller Modelle an neun hochwertigen Multi-View-Sequenzen, die eine Vielzahl von Körperformen, Bewegungen und Kleidung (nicht nur intime Kleidung) abdecken, können wir später neue Posen für jedes Motiv erstellen.

Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle

Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle

Methodenübersicht

Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle


  • Papierlink: https://arxiv.org/pdf/2311.08581.pdf
  • Projektlink: https://zielon.github.io/d3ga/

Derzeit verwendete Methoden Für die dynamische Volumetrisierung virtueller Zeichen werden entweder Punkte vom Deformationsraum in den kanonischen Raum abgebildet oder ausschließlich auf Vorwärtsabbildung zurückgegriffen. Auf Backmapping basierende Methoden neigen dazu, Fehler im kanonischen Raum anzuhäufen, da sie einen fehleranfälligen Backpass erfordern und bei der Modellierung perspektivenabhängiger Effekte problematisch sind.

Daher hat sich der Autor für die reine Vorwärtszuordnungsmethode entschieden. D3GA basiert auf 3DGS und wird durch neuronale Darstellung und Käfig erweitert, um die Farbe und die geometrische Form jedes dynamischen Teils des virtuellen Charakters zu modellieren.

Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle

D3GA verwendet die 3D-Pose ϕ, die Gesichtseinbettung κ, den Blickwinkel dk und den kanonischen Käfig v (und automatisch dekodierte Farbmerkmale hi), um das endgültige Render C¯ und das Hilfssegmentierungsrendering P¯ zu generieren. Die Eingabe auf der linken Seite wird über drei Netzwerke (ΨMLP, ΠMLP, ΓMLP) pro virtuellem Zeichenteil verarbeitet, um Käfigverschiebung Δv, Gaußsche Verformungen bi, qi, si und Farbe/Transparenz ci, oi zu erzeugen.

Nachdem die Käfigverformung die kanonische Gaußsche Funktion verformt, werden sie über Gleichung 9 in das endgültige Bild gerastert.

Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle

Experimentelle Ergebnisse

D3GA wird anhand von Metriken wie SSIM, PSNR und der Wahrnehmungsmetrik LPIPS bewertet. Tabelle 1 zeigt, dass D3GA unter den Methoden, die nur LBS verwenden (d. h. es besteht keine Notwendigkeit, 3D-Daten für jeden Frame zu scannen), die beste Leistung bei PSNR und SSIM aufweist und bei diesen Indikatoren alle FFD-Methoden übertrifft, nur an zweiter Stelle nach BD FFD, trotz schlechtem Trainingssignal und fehlender Testbilder (DVA wurde mit allen 200 Kameras getestet).

Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle

Der qualitative Vergleich zeigt, dass D3GA Kleidung besser modellieren kann als andere hochmoderne Methoden, insbesondere lockere Kleidung wie Röcke oder Jogginghosen (Abbildung 4). FFD steht für Free Deformation Mesh und enthält umfangreichere Trainingssignale als LBS-Netze (Abbildung 9).

Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle

Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle


Im Vergleich zur volumenbasierten Methode kann die Methode des Autors die Kleidung des virtuellen Charakters trennen, und die Kleidung ist auch fahrbar. Abbildung 5 zeigt, dass jede einzelne Kleidungsstückschicht allein durch die Winkel der Knochengelenke gesteuert werden kann, ohne dass ein spezielles Kleidungsstückregistrierungsmodul erforderlich ist.


Kann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle

Das obige ist der detaillierte Inhalt vonKann die KI-Forschung auch vom Impressionismus lernen? Bei diesen lebensechten Menschen handelt es sich tatsächlich um 3D-Modelle. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme
Dieser Artikel ist reproduziert unter:51CTO.COM. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen
Was ist die runde Funktion in Excel? - Analytics VidhyaWas ist die runde Funktion in Excel? - Analytics VidhyaApr 17, 2025 am 10:56 AM

Beherrschen der runden Funktion von Microsoft Excel für präzise numerische Daten Zahlen sind für Tabellenkalkulationen von grundlegender Bedeutung, aber die Genauigkeit und Lesbarkeit erfordert häufig mehr als nur Rohdaten. Die runde Funktion von Microsoft Excel ist ein leistungsstarkes Werkzeug für TRA

Ein Leitfaden für Reflexionsmittel mit LamaindexEin Leitfaden für Reflexionsmittel mit LamaindexApr 17, 2025 am 10:41 AM

Verbesserung der AI -Intelligenz: Ein tiefes Eintauchen in reflektierende AI -Agenten mit Llamaindex Stellen Sie sich eine KI vor, die nicht nur Probleme löst, sondern auch über ihren eigenen Denkprozess nachwirkt, um sich zu verbessern. Dies ist der Bereich reflektierender KI -Agenten, und dieser Artikel untersucht

Wie berechnet und speichern Sie Vektor in Langchain?Wie berechnet und speichern Sie Vektor in Langchain?Apr 17, 2025 am 10:37 AM

Nutzung von Langchain- und Vektor -Einbettungen für verbessertes Inhaltsabruf Frühere Artikel umfassten Datenladungs- und Aufteilungstechniken für abfragerelevante Inhaltextraktion. Dieser Artikel befasst

Top 13 Unternehmen, die Data Science Freshers im Jahr 2025 einstellenTop 13 Unternehmen, die Data Science Freshers im Jahr 2025 einstellenApr 17, 2025 am 10:30 AM

Data Science -Karriere: Top -Unternehmen und Tipps für den Erfolg im Jahr 2024 Jüngste Data Science-Absolventen und Studierende des letzten Jahres, die auf multinationale Unternehmen (MNCs) streben, haben viele Optionen. Dieser Leitfaden zeigt führende Unternehmen, die Daten sc einstellen

Wie schafft ich mit Genai ansprechende Kundenerlebnisse?Wie schafft ich mit Genai ansprechende Kundenerlebnisse?Apr 17, 2025 am 10:27 AM

Verbesserung der Kundenerlebnisse mit generativer KI: einem strategischen Ansatz Die Kundenzufriedenheit ist von größter Bedeutung, und Unternehmen erkennen zunehmend die Notwendigkeit, außergewöhnliche Erfahrungen zu liefern. Über 70% der Kunden wünschen einen personalisierten Service, a

AI -Durchbrüche mit Fluss.1, Gemma 2, Sam 2 und mehrAI -Durchbrüche mit Fluss.1, Gemma 2, Sam 2 und mehrApr 17, 2025 am 10:26 AM

AI Weekly Digest: bahnbrechende Innovationen und ethische Überlegungen Willkommen zurück in AV -Bytes, Ihre wöchentliche Zusammenfassung der aufregendsten KI -Fortschritte! Die Highlights dieser Woche zeigen bemerkenswerte Fortschritte bei der Erzeugung von Text-zu-Image, Model Efficie

Data Science vs. InformatikData Science vs. InformatikApr 17, 2025 am 10:25 AM

Einführung Stellen Sie sich vor, Sie befinden sich auf einer Tech-Konferenz, die von Gleichgesinnten, einflussreichen Technologen und IT-Enthusiasten umgeben ist. In der Menge hörten Sie versehentlich zwei Fachkräfte, die ihre Arbeit diskutierten - einen Datenwissenschaftler, der sich leidenschaftlich für die Anwendung des maschinellen Lernens in der Krankheitsvorhersage begeistern. und ein Informatiker, der auch begeistert ist, die neue Architektur zu erklären, die er für Software entworfen hat. Hören Sie genau zu, und Sie werden sehen, dass ihre Ziele zwar alle technologisch bezogen sind, die von ihnen verwendeten Strategien und Tools sehr unterschiedlich sind. Diese Entdeckung hat Ihre Neugier geweckt: Was ist der Unterschied zwischen Datenwissenschaft und Informatik? Lassen Sie uns diese Reise gemeinsam anschließen, um Einblick in diese beiden faszinierenden Bereiche, ihre spezifischen Inhalte und dort, wohin zukünftige Technologen gehen

Was sind die verschiedenen Komponenten von Diffusionsmodellen?Was sind die verschiedenen Komponenten von Diffusionsmodellen?Apr 17, 2025 am 10:23 AM

Stabile Diffusion: Ein tiefes Eintauchen in die KI -Bilderzeugung Die stabile Diffusion hat die KI-Bilderzeugung revolutioniert und die Erstellung hochwertiger Bilder aus Rauschen oder Textaufforderungen ermöglicht. Dieses leistungsstarke generative Modell nutzt mehrere Schlüsselkomponenten w

See all articles

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Chat -Befehle und wie man sie benutzt
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

WebStorm-Mac-Version

WebStorm-Mac-Version

Nützliche JavaScript-Entwicklungstools

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

EditPlus chinesische Crack-Version

EditPlus chinesische Crack-Version

Geringe Größe, Syntaxhervorhebung, unterstützt keine Code-Eingabeaufforderungsfunktion

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

VSCode Windows 64-Bit-Download

VSCode Windows 64-Bit-Download

Ein kostenloser und leistungsstarker IDE-Editor von Microsoft