Die Anzahl der ControlNet-Sterne übersteigt 10.000! Wird die KI-Malerei im Jahr 2023 verrückt werden?

Vom reitenden Astronauten zur dreidimensionalen Dame scheint die KI-Malerei in weniger als einem Jahr revolutionäre Fortschritte gemacht zu haben.

Dieser „reitende Astronaut“ wird vom vinzentinischen Graphenmodell DALL・E 2 gezeichnet, das im April 2022 von OpenAI eingeführt wurde. Sein Vorgänger, DALL・E, demonstrierte den Menschen im Jahr 2021 die Fähigkeit, Bilder direkt aus Text zu generieren und damit die dimensionale Mauer zwischen natürlicher Sprache und Vision zu durchbrechen. Auf dieser Grundlage geht DALL・2 noch einen Schritt weiter und ermöglicht es Benutzern, das Originalbild zu bearbeiten, beispielsweise durch das Hinzufügen eines Corgi zum Bild. Dieser scheinbar einfache Vorgang spiegelt tatsächlich die Verbesserung der Steuerbarkeit des KI-Malmodells wider.

Das beliebteste Vincent-Diagrammmodell im Jahr 2022 ist jedoch in Bezug auf den Einfluss nicht DALL・E 2, sondern ein anderes Modell mit ähnlichen Funktionen – Stable Diffusion. Wie DALL・E 2 ermöglicht Stable Diffusion den Erstellern auch die Bearbeitung der generierten Bilder, der Vorteil besteht jedoch darin, dass das Modell Open Source ist und auf GPUs der Verbraucherklasse ausgeführt werden kann. Daher erfreute sich Stable Diffusion nach seiner Veröffentlichung im August 2022 schnell großer Beliebtheit und wurde innerhalb weniger Monate zum beliebtesten Vincent-Diagrammmodell.

In dieser Zeit werden auch verschiedene Methoden zur Steuerung dieser Art von Modellen weiter erforscht. Beispielsweise hat Runway, eines der Teams hinter Stable Diffusion, ein Tool zum Löschen und Ersetzen von Bildern veröffentlicht . Dieses Tool kann jeden Teil des Bildes ändern. Der Benutzer muss lediglich den Bereich löschen und eine Beschreibung in natürlicher Sprache schreiben, den Rest erledigt das Programm.

Forscher von Google und der Boston University haben ein „personalisiertes“ Text-zu-Bild-Diffusionsmodell vorgeschlagen ​​DreamBooth​ Benutzer müssen nur 3 bis 5 Beispiele + einen Satz bereitstellen Dann KI kann fotorealistische Bilder anpassen.

Darüber hinaus schlug ein Forschungsteam der UC Berkeley auch eine neue Methode vor, um Bilder nach menschlichen Anweisungen zu bearbeiten ​​InstructPix2Pix​​​, dieses Modell kombiniert GPT-3 und Stabile Diffusion. Wenn ein Eingabebild und eine Textbeschreibung vorliegen, die dem Modell mitteilt, was zu tun ist, kann das Modell den Beschreibungsanweisungen folgen, um das Bild zu bearbeiten. Um beispielsweise die Sonnenblumen im Gemälde durch Rosen zu ersetzen, müssen Sie dem Modell nur direkt sagen: „Sonnenblumen durch Rosen ersetzen“.

Mit Beginn des Jahres 2023 hat ein Modell namens ControlNet die Flexibilität dieser Art der Steuerung auf den Höhepunkt gebracht.

Die Kernidee von ControlNet besteht darin, der Textbeschreibung einige zusätzliche Bedingungen hinzuzufügen, um das Diffusionsmodell zu steuern (z. B. stabile Diffusion), wodurch die Pose, Tiefe, Bildstruktur und andere generierte Informationen der Charaktere besser gesteuert werden können Bild.

Die zusätzlichen Bedingungen werden hier in Form eines Bildes eingegeben. Das Modell kann darauf basierend eine Canny-Kantenerkennung, Tiefenerkennung, semantische Segmentierung, Hough-Transformationslinienerkennung, Gesamtverschachtelte Kantenerkennung (HED) und eine menschliche Haltung durchführen Eingabebilderkennung usw. und behalten Sie diese Informationen dann im generierten Bild bei. Mit diesem Modell können wir Strichzeichnungen oder Graffiti direkt in Vollfarbbilder umwandeln, Bilder mit derselben Tiefenstruktur usw. erzeugen und die Generierung von Charakterhänden durch Handschlüsselpunkte optimieren.

Dieses Modell hat im Bereich der KI-Malerei große Wellen geschlagen und die Zahl der GitHub-Stars verwandter Projekte hat 10.000 überschritten.

Projektlink: https://github.com/lllyasviel/ControlNet

Obwohl viele Leute es derzeit nur verwenden, um zweidimensionale und dreidimensionale Damen zu generieren, ist es mehr weit verbreitet Nach und nach wurden auch seine Verwendungsmöglichkeiten entdeckt, beispielsweise für Hausdesign, Fotografie, Film- und Fernsehproduktion, Werbedesign usw. In diesen Szenarien wird ControlNet zusammen mit einigen früheren Tools verwendet, wie z. B. LoRA zur Bewältigung großer Probleme bei der Modellfeinabstimmung, dem Video-zu-Animations-Konvertierungstool EbSynth usw. Der kombinierte Einsatz dieser Tools beschleunigt die Integration von KI-Lackierungsmodellen in den Produktionsprozess.

Gestalten Sie Ihre Innenräume mit Tools wie ControlNet und EbSynth neu. Bildquelle: https://creativetechnologydigest.substack.com/p/controlling-artistic-chaos-with-controlnet (vollständiges Tutorial enthalten)

​Mit ControlNet und Houdini Tools 3D-Modelle erstellen. Bildquelle: https://www.reddit.com/r/StableDiffusion/comments/115eax6/im_working_on_api_for_the_a1111_controlnet/

​Mit Dreambooth und trolNet ändert die 2D-Bildbeleuchtung, kann für die Postproduktion von Fotos und Videos verwendet werden. Bildquelle: https://www.reddit.com/r/StableDiffusion/comments/1175id9/when_i_say_mindblowing_i_mean_it_new_experiments/ und E bSynth wandelt Animationen in reale Personen um . Obwohl die Ergebnisse noch nicht großartig sind, hat es das Potenzial gezeigt, Anime in Live-Action umzuwandeln, ohne dass Schauspieler auftreten müssen. Bildquelle ​https://www.reddit.com/r/StableDiffusion/comments/117ewr9/anime_to_live_action_with_controlnet_ebsynth_not/​

Das berühmte „neue Logo“ der Marke, erstellt von einem Designer mit ControlNet. Bildquelle: https://twitter.com/fofrAI/status/1628882166900744194

Zusätzlich zu den Überraschungen hat der Fortschritt dieser Technologien auch Praktiker in der Malerei und anderen Bereichen in Angst und Wut gestürzt. Die Sorge ist, dass KI Ihnen den Job wegnehmen könnte. Erfreulicherweise handelt es sich bei vielen der von KI erzeugten Bilder um Plagiate und Nachahmungen aktueller Maler, und die geistigen Eigentumsrechte der Maler wurden verletzt.

Bildquelle: https://www.zhihu.com/question/583294094

Da diese Probleme noch gelöst werden müssen, ist die KI-Malerei zu einem akuten Problem im Kreis der Maler geworden. Viele Menschen glauben, dass jeder die KI-Malerei boykottieren und gemeinsam seine Rechte verteidigen sollte. Als sich daher die Nachricht verbreitete, dass ein bekannter Künstler verdächtigt wurde, KI-Malerei für einen Beitrag zu einem Spielestudio zu nutzen, waren andere Künstler völlig empört.

Gleichzeitig waren auch die Gamer verärgert. Da es bei der KI-Malerei derzeit noch einige Einschränkungen gibt, wie z. B. die mangelnde Fähigkeit, Handdetails gut zu verarbeiten (Sie können dies sehen, wenn Sie sich das Mädchen im ersten Bild dieses Artikels genau ansehen), kann es den Anforderungen der Spieler nicht gerecht werden Für exquisite visuelle Effekte, Charaktere mit Persönlichkeit und Kreativität usw. fühlten sich viele Spieler „getäuscht“. Daher kann das oben genannte Spielestudio nur eine Notfallerklärung abgeben, in der es heißt, dass es „keine KI-Malerei in seinen Produkten verwenden wird“.

Aber wie lange wird diese Situation anhalten? Wenn das Niveau der KI-Malerei ein Niveau erreicht, das mit bloßem Auge schwer zu unterscheiden ist, woher wissen Sie dann, ob das Spiel, das Sie spielen, vom Künstler oder der KI oder einem „Team“ aus beiden stammt?

Quelle: https://m.weibo.cn/2268335814/4870844515358190

Vielleicht in ein paar In einigen Monaten werden KI-Malwerkzeuge wie Programmierer wie Copilot sein. Es ist für Maler zu einem unverzichtbaren Werkzeug bei ihrer täglichen Arbeit geworden. Natürlich hat dies auch die Messlatte für diese Branche geradezu höher gelegt, genau wie für andere Branchen, in die KI „einmarschiert“ ist. Wie man in einer solchen Welle seine Wettbewerbsfähigkeit aufrechterhalten kann, ist möglicherweise eine Frage, über die jeder nachdenken sollte.

Das obige ist der detaillierte Inhalt vonDie Anzahl der ControlNet-Sterne übersteigt 10.000! Wird die KI-Malerei im Jahr 2023 verrückt werden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!