suchen
HeimTechnologie-PeripheriegeräteKIEin paar Codezeilen stabilisieren UNet! Die Sun Yat-sen University und andere schlugen das ScaleLong-Diffusionsmodell vor: von der Infragestellung der Skalierung zur Skalierung

In der Standard-UNet-Struktur beträgt der Skalierungskoeffizient 几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling auf der Long-Skip-Verbindung im Allgemeinen 1.

In einigen bekannten Diffusionsmodellarbeiten wie Imagen, Score-basiertes generatives Modell und SR3 usw. haben sie jedoch alle 几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling festgelegt und festgestellt, dass solche Einstellungen das Diffusionstraining effektiv beschleunigen können Modelle.

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling

Skalierung in Frage stellenIm Originalpapier gibt es jedoch keine spezifische Analyse des Skalierungsvorgangs der Sprungverbindung in Imagen und anderen Modellen, es wird jedoch gesagt, dass diese Einstellung zur Beschleunigung beiträgt das Training des Diffusionsmodells.

Zuallererst macht uns diese Art der empirischen Darstellung unklar, welche Rolle dieses Setting spielt?

Außerdem wissen wir nicht, ob wir nur 几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling festlegen können oder ob wir andere Konstanten verwenden können?

Sind die „Status“ von Skip-Verbindungen an verschiedenen Standorten gleich? Warum dieselbe Konstante verwenden?

Der Autor hat viele Fragezeichen dazu ...

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为ScalingBilder

Skalierung verstehen

Im Allgemeinen ist UNet im Vergleich zu ResNet- und Transformer-Strukturen in der tatsächlichen Verwendung nicht „tief“. Da es nicht tief ist, ist es weniger anfällig für Optimierungsprobleme wie verschwindende Gradienten, die in anderen „tiefen“ neuronalen Netzwerkstrukturen häufig auftreten.

Darüber hinaus werden aufgrund der Besonderheit der UNet-Struktur flache Features durch lange Sprungverbindungen mit tiefen Standorten verbunden, wodurch Probleme wie das Verschwinden des Gradienten weiter vermieden werden.

Denken Sie andersherum: Wenn eine solche Struktur nicht beachtet wird, führt dies dann zu Problemen wie übermäßigen Steigungen und Parameter-(Merkmals-)Schwankungen aufgrund von Aktualisierungen?

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为ScalingBilder

Durch die Visualisierung der Merkmale und Parameter der Diffusionsmodellaufgabe während des Trainingsprozesses kann festgestellt werden, dass tatsächlich Instabilität vorliegt.

Die Instabilität von Parametern (Features) wirkt sich auf den Gradienten aus, was wiederum Auswirkungen auf Parameteraktualisierungen hat. Letztendlich besteht bei diesem Prozess ein höheres Risiko unerwünschter Beeinträchtigungen der Leistung. Deshalb müssen wir Wege finden, diese Instabilität zu kontrollieren.

Ferner für das Diffusionsmodell. Die Eingabe von UNet ist ein verrauschtes Bild. Wenn das Modell das zusätzliche Rauschen genau vorhersagen soll, erfordert dies, dass das Modell eine hohe Robustheit gegenüber der Eingabe gegenüber zusätzlichen Störungen aufweist.

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling

Papier: https://arxiv.org/abs/2310.13545

Code: https://github.com/sail-sg/ScaleLong

Forscher haben die oben genannten Probleme gefunden, die in Long zu finden sind Verbindung überspringen Die Skalierung wird auf dem System zur einheitlichen Schadensbegrenzung durchgeführt.

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling

Aus Satz 3.1 steht der Schwingungsbereich des Merkmals der mittleren Schicht (die Breite der Ober- und Untergrenze) in direktem Zusammenhang mit der Summe der Quadrate des Skalierungskoeffizienten. Geeignete Skalierungskoeffizienten tragen dazu bei, die Instabilität von Merkmalen zu verringern.

Allerdings ist zu beachten, dass der Schock tatsächlich optimal gemildert wird, wenn der Skalierungskoeffizient direkt auf 0 gesetzt wird. (Manueller Hundekopf)

Aber wenn UNet zu einer Situation ohne Sprünge degradiert, ist das Instabilitätsproblem gelöst, aber auch die Darstellungsfähigkeit geht verloren. Dies ist ein Kompromiss zwischen Modellstabilität und Darstellungsfähigkeiten.

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为ScalingBilder

Ähnlich aus der Perspektive des Parametergradienten. Satz 3.3 zeigt auch, dass der Skalierungskoeffizient die Größe des Gradienten steuert.

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为ScalingBild

Darüber hinaus zeigt Satz 3.4 auch, dass die Skalierung der Long-Skip-Verbindung auch die robuste Obergrenze des Modells gegenüber Eingangsstörungen beeinflussen und die Stabilität des Diffusionsmodells gegenüber Eingangsstörungen verbessern kann.

Become Scaling

Durch die obige Analyse verstehen wir, wie wichtig die Skalierung auf Long-Skip-Verbindungen für ein stabiles Modelltraining ist. 几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling gilt auch für die obige Analyse.

Als nächstes analysieren wir, welche Art von Skalierung eine bessere Leistung erzielen kann. Schließlich kann die obige Analyse nur zeigen, dass die Skalierung gut ist, aber sie kann nicht bestimmen, welche Art von Skalierung die beste oder bessere ist.

Eine einfache Möglichkeit besteht darin, ein lernbares Modul für eine lange Sprungverbindung einzuführen, um die Skalierung adaptiv anzupassen. Diese Methode wird als Learnable Scaling (LS)-Methode bezeichnet. Wir übernehmen eine SENet-ähnliche Struktur, die wie folgt aussieht (die hier betrachtete U-ViT-Struktur ist sehr gut organisiert!) Training von Diffusionsmodellen! Darüber hinaus versuchen wir, die in LS gelernten Koeffizienten zu visualisieren.

Wie in der folgenden Abbildung gezeigt, werden wir feststellen, dass diese Koeffizienten einen exponentiellen Abwärtstrend aufweisen (beachten Sie, dass sich die erste lange Sprungverbindung hier auf die Verbindung bezieht, die das erste und letzte Ende von UNet verbindet), und der erste Koeffizient liegt fast nahe beieinander zu 1. Das Phänomen ist auch erstaunlich!

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为ScalingBild

Basierend auf dieser Beobachtungsreihe (weitere Einzelheiten finden Sie im Artikel) haben wir außerdem die Constant Scaling (CS)-Methode vorgeschlagen, die keine lernbaren Parameter erfordert:

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling

Die CS-Strategie erfordert keine zusätzlichen Parameter wie die ursprüngliche Skalierungsoperation mit

, sodass fast kein zusätzlicher Rechenaufwand entsteht.

几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为ScalingObwohl CS im Stalltraining die meiste Zeit nicht so gut abschneidet wie LS, ist es für die bestehenden

Strategien dennoch einen Versuch wert. 几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling

Die oben genannten Implementierungen von CS und LS sind sehr einfach und erfordern nur wenige Codezeilen. Für jede (hua)-Formel (li) und jede (hu)-artige (shao) UNet-Struktur müssen die Merkmalsabmessungen möglicherweise angepasst werden. (Manueller Hundekopf +1)几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型:从质疑Scaling到成为Scaling

Kürzlich haben auch einige Folgearbeiten wie FreeU, SCEdit und andere gezeigt, wie wichtig die Skalierung bei Skip-Verbindungen ist. Jeder ist herzlich eingeladen, es zu versuchen und zu fördern.

Das obige ist der detaillierte Inhalt vonEin paar Codezeilen stabilisieren UNet! Die Sun Yat-sen University und andere schlugen das ScaleLong-Diffusionsmodell vor: von der Infragestellung der Skalierung zur Skalierung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme
Dieser Artikel ist reproduziert unter:51CTO.COM. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen
Gemma Scope: Das Mikroskop von Google, um in den Denkprozess von AI zu blickenGemma Scope: Das Mikroskop von Google, um in den Denkprozess von AI zu blickenApr 17, 2025 am 11:55 AM

Erforschen der inneren Funktionsweise von Sprachmodellen mit Gemma -Umfang Das Verständnis der Komplexität von KI -Sprachmodellen ist eine bedeutende Herausforderung. Die Veröffentlichung von Gemma Scope durch Google, ein umfassendes Toolkit, bietet Forschern eine leistungsstarke Möglichkeit, sich einzuschütteln

Wer ist ein Business Intelligence Analyst und wie kann man einer werden?Wer ist ein Business Intelligence Analyst und wie kann man einer werden?Apr 17, 2025 am 11:44 AM

Erschließung des Geschäftserfolgs: Ein Leitfaden zum Analyst für Business Intelligence -Analyst Stellen Sie sich vor, Rohdaten verwandeln in umsetzbare Erkenntnisse, die das organisatorische Wachstum vorantreiben. Dies ist die Macht eines Business Intelligence -Analysts (BI) - eine entscheidende Rolle in Gu

Wie füge ich eine Spalte in SQL hinzu? - Analytics VidhyaWie füge ich eine Spalte in SQL hinzu? - Analytics VidhyaApr 17, 2025 am 11:43 AM

SQL -Änderungstabellanweisung: Dynamisches Hinzufügen von Spalten zu Ihrer Datenbank Im Datenmanagement ist die Anpassungsfähigkeit von SQL von entscheidender Bedeutung. Müssen Sie Ihre Datenbankstruktur im laufenden Flug anpassen? Die Änderungstabelleerklärung ist Ihre Lösung. Diese Anleitung Details Hinzufügen von Colu

Business Analyst vs. Data AnalystBusiness Analyst vs. Data AnalystApr 17, 2025 am 11:38 AM

Einführung Stellen Sie sich ein lebhaftes Büro vor, in dem zwei Fachleute an einem kritischen Projekt zusammenarbeiten. Der Business Analyst konzentriert sich auf die Ziele des Unternehmens, die Ermittlung von Verbesserungsbereichen und die strategische Übereinstimmung mit Markttrends. Simu

Was sind Count und Counta in Excel? - Analytics VidhyaWas sind Count und Counta in Excel? - Analytics VidhyaApr 17, 2025 am 11:34 AM

Excel -Datenzählung und -analyse: Detaillierte Erläuterung von Count- und Counta -Funktionen Eine genaue Datenzählung und -analyse sind in Excel kritisch, insbesondere bei der Arbeit mit großen Datensätzen. Excel bietet eine Vielzahl von Funktionen, um dies zu erreichen. Die Funktionen von Count- und Counta sind wichtige Instrumente zum Zählen der Anzahl der Zellen unter verschiedenen Bedingungen. Obwohl beide Funktionen zum Zählen von Zellen verwendet werden, sind ihre Designziele auf verschiedene Datentypen ausgerichtet. Lassen Sie uns mit den spezifischen Details der Count- und Counta -Funktionen ausgrenzen, ihre einzigartigen Merkmale und Unterschiede hervorheben und lernen, wie Sie sie in der Datenanalyse anwenden. Überblick über die wichtigsten Punkte Graf und Cou verstehen

Chrome ist hier mit KI: Tag zu erleben, täglich etwas Neues !!Chrome ist hier mit KI: Tag zu erleben, täglich etwas Neues !!Apr 17, 2025 am 11:29 AM

Die KI -Revolution von Google Chrome: Eine personalisierte und effiziente Browsing -Erfahrung Künstliche Intelligenz (KI) verändert schnell unser tägliches Leben, und Google Chrome leitet die Anklage in der Web -Browsing -Arena. Dieser Artikel untersucht die Exciti

Die menschliche Seite von Ai: Wohlbefinden und VierfacheDie menschliche Seite von Ai: Wohlbefinden und VierfacheApr 17, 2025 am 11:28 AM

Impacting Impact: Das vierfache Endergebnis Zu lange wurde das Gespräch von einer engen Sicht auf die Auswirkungen der KI dominiert, die sich hauptsächlich auf das Gewinn des Gewinns konzentrierte. Ein ganzheitlicherer Ansatz erkennt jedoch die Vernetzung von BU an

5 verwendende Anwendungsfälle für Quantum Computing, über die Sie wissen sollten5 verwendende Anwendungsfälle für Quantum Computing, über die Sie wissen solltenApr 17, 2025 am 11:24 AM

Die Dinge bewegen sich stetig zu diesem Punkt. Die Investition, die in Quantendienstleister und Startups einfließt, zeigt, dass die Industrie ihre Bedeutung versteht. Und eine wachsende Anzahl realer Anwendungsfälle entsteht, um seinen Wert zu demonstrieren

See all articles

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Chat -Befehle und wie man sie benutzt
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

SecLists

SecLists

SecLists ist der ultimative Begleiter für Sicherheitstester. Dabei handelt es sich um eine Sammlung verschiedener Arten von Listen, die häufig bei Sicherheitsbewertungen verwendet werden, an einem Ort. SecLists trägt dazu bei, Sicherheitstests effizienter und produktiver zu gestalten, indem es bequem alle Listen bereitstellt, die ein Sicherheitstester benötigen könnte. Zu den Listentypen gehören Benutzernamen, Passwörter, URLs, Fuzzing-Payloads, Muster für vertrauliche Daten, Web-Shells und mehr. Der Tester kann dieses Repository einfach auf einen neuen Testcomputer übertragen und hat dann Zugriff auf alle Arten von Listen, die er benötigt.

PHPStorm Mac-Version

PHPStorm Mac-Version

Das neueste (2018.2.1) professionelle, integrierte PHP-Entwicklungstool

DVWA

DVWA

Damn Vulnerable Web App (DVWA) ist eine PHP/MySQL-Webanwendung, die sehr anfällig ist. Seine Hauptziele bestehen darin, Sicherheitsexperten dabei zu helfen, ihre Fähigkeiten und Tools in einem rechtlichen Umfeld zu testen, Webentwicklern dabei zu helfen, den Prozess der Sicherung von Webanwendungen besser zu verstehen, und Lehrern/Schülern dabei zu helfen, in einer Unterrichtsumgebung Webanwendungen zu lehren/lernen Sicherheit. Das Ziel von DVWA besteht darin, einige der häufigsten Web-Schwachstellen über eine einfache und unkomplizierte Benutzeroberfläche mit unterschiedlichen Schwierigkeitsgraden zu üben. Bitte beachten Sie, dass diese Software

Dreamweaver Mac

Dreamweaver Mac

Visuelle Webentwicklungstools

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools