Heim > Artikel > Technologie-Peripheriegeräte > Superkörper eines neuronalen Netzwerks? Neues nationales LV-Labor schlägt neue Technologie zum Klonen von Netzwerken vor
Während sich im Film die Gehirnleistung der Heldin Lucy allmählich entwickelt, erwirbt sie die folgenden Fähigkeiten:
Am Ende des Films verschwindet die Heldin allmählich und verwandelt sich in eine reine Energieform und verschwindet schließlich im Universum und kämpft mit dem Universum und Zeit Werde eins. Die Verwirklichung des menschlichen Superkörpers ist die Fähigkeit, sich mit der Außenwelt zu verbinden, um unendlichen Wert zu erlangen. Wenn diese Idee auf die Domäne des neuronalen Netzwerks übertragen wird, kann auch den Netzwerk-Superkörper realisieren, wenn eine Verbindung mit dem gesamten Netzwerk hergestellt werden kann, und erhält theoretisch unbegrenzte Vorhersagefähigkeiten#🎜🎜 #.
Das heißt, das physische Netzwerk begrenzt zwangsläufig das Wachstum der Netzwerkleistung, und wenn das Zielnetzwerk mit dem Modellzoo verbunden ist, verfügt das Netzwerk nicht mehr über eine Entität , sondern eine A-Superkörperform, die Verbindungen zwischen Netzwerken herstellt.
Oben: Der Unterschied zwischen Superkörpernetzwerk und Entitätsnetzwerk. Das Super-Body-Netzwerk hat keine Einheit und ist eine Form der Verbindung zwischen Netzwerken. Dieser Artikel teilt die Idee des CVPR 2023-Papiers „Partielles Netzwerkklonen“ #🎜🎜 # zum Erkunden. In diesem Artikel schlägt die National University of Singapore LV lab
eine neue Technologie zum Klonen von Netzwerken vor.Link: https://arxiv.org/abs/2303.10597# 🎜🎜#01 Problemdefinition
In diesem Artikel erwähnte der Autor, dass die Verwendung dieser Netzwerkklonierungstechnologie zur Erzielung einer Netzwerkdematerialisierung die folgenden Vorteile bringen kann:# 🎜🎜#
Schwache Datenabhängigkeit: Zur Änderung einiger Verbindungsmodule sind nur einige Korrekturdaten erforderlich
Nachhaltig und wiederherstellbar: Der Verbindungspfad kann ohne Änderungen am Modellzoo erhöht oder verringert werden
wobei M_s den modifizierten Netzwerksatz darstellt, also die verbundene Form des Netzwerks Superbody ist ein Ontologienetzwerk plus ein oder mehrere Korrekturnetzwerke. Die Netzwerkklonierungstechnologie besteht darin, den erforderlichen Teil des Korrekturnetzwerks zu klonen und in das Ontologienetzwerk einzubetten.
Das in diesem Artikel vorgeschlagene Framework zum Klonen von Netzwerken umfasst insbesondere die folgenden zwei technischen Punkte:
Für das Klonen mit P-Korrekturnetzwerken ist der erste technische Punkt Positionierung von Schlüsselteilen lokal (∙)
. Da das Korrekturnetzwerk möglicherweise Aufgabeninformationen enthält, die für den Aufgabensatz T irrelevant sind, zielt der Schlüsselteilpositionierung Local (∙) darauf ab, die Teile im Korrekturnetzwerk zu lokalisieren, die mit der Aufgabe T⋂T_s zusammenhängen. Der Positionierungsparameter wird durch dargestellt M^ρ. Die Implementierungsdetails sind in Abschnitt 1. in Unterabschnitt 2.1 angegeben. Der zweite technische Punkt ist die Einbettung des Netzwerkmoduls (∙). Um alle Korrekturnetzwerke einzubetten, muss der entsprechende Netzwerkeinbettungspunkt ausgewählt werden.
02 MethodenübersichtUm die Beschreibung zu vereinfachen, setzen wir im Methodenteil des Netzwerkklonens die Anzahl der Korrekturnetzwerke auf P = 1 (wobei wir das hochgestellte ρ des Korrekturnetzwerks weglassen), d. h. wir Verbinden Sie ein Ontologienetzwerk und ändern Sie das Netzwerk, um das gewünschte Superbody-Netzwerk aufzubauen.
Wie oben erwähnt, umfasst das Klonen von Netzwerken die Positionierung wichtiger Teile und die Einbettung von Netzwerkmodulen. Hier stellen wir das übertragbare Zwischenmodul M_f vor, um das Verständnis zu erleichtern. Das heißt, die Netzwerkklonierungstechnologie lokalisiert Schlüsselteile im überarbeiteten Netzwerk, um ein migrierbares Modul M_f zu bilden, und bettet das migrierbare Modul dann über weiche Verbindungen in das Ontologienetzwerk M_t ein. Daher besteht das Ziel der Netzwerk-Klon-Technologie darin, übertragbare Modulemit Übertragbarkeit und lokaler Treue zu lokalisieren und einzubetten.
2.1 Lokalisierung wichtiger Teile des Netzwerks Das Ziel der Lokalisierung wichtiger Teile des Netzwerks besteht darin, die Auswahlfunktion M zu lernen. Die Auswahlfunktion M wird hier als die Maske definiert, die Wirkt auf den Filter jeder Schicht des Netzwerks. Das derzeit übertragbare Modul kann wie folgt ausgedrückt werden:
In der obigen Formel drücken wir die modifizierten Netzwerk-M_s als L-Schicht aus, und jede Schicht wird als ausgedrückt. Durch die Extraktion bekannter migrierbarer Module werden keine Änderungen am Korrekturnetzwerk vorgenommen.
Um das entsprechende übertragbare Modul M_f zu erhalten, suchen wir den expliziten Teil des Korrekturnetzwerks M_s, der den größten Beitrag zum endgültigen Vorhersageergebnis leistet. Zuvor haben wir angesichts der Black-Box-Natur neuronaler Netze und der Tatsache, dass wir nur einen Teil der Vorhersageergebnisse des Netzes benötigen, LIME verwendet, um das Netz anzupassen und zu korrigieren, um den lokalen Teil der erforderlichen Aufgabe zu modellieren (siehe den Text von). Einzelheiten finden Sie im Papier).
Die lokalen Modellierungsergebnisse werden durch dargestellt, wobei D_t der Trainingsdatensatz ist, der den erforderlichen Teilvorhersageergebnissen entspricht (kleiner als der Trainingssatz des ursprüngliches Netzwerk).
Daher kann die Auswahlfunktion M durch die folgende Zielfunktion optimiert werden:
#🎜🎜 ##🎜 🎜#
In dieser Formel wird der Schlüsselteil der Positionierung an das lokal modellierte G angepasst.
2.2 Netzwerkmodul-Einbettung
kann in der korrigierten Position positioniert werden Netzwerk Wenn Sie das Modul M_f migrieren, verwenden Sie die Auswahlfunktion M, um es direkt aus M_s zu extrahieren, ohne seine Gewichte zu ändern. Der nächste Schritt besteht darin, zu entscheiden, wo das migrierbare Modul M_f in das Ontologienetzwerk M_t eingebettet werden soll, um die beste Klonleistung zu erzielen.Die Einbettung des Netzwerkmoduls wird durch den Positionsparameter R gesteuert. Gemäß den meisten Modellwiederverwendungseinstellungen behält das Netzwerkklonen die ersten paar Schichten des Ontologiemodells als generische Merkmalsextraktoren bei, und der Netzwerkeinbettungsprozess wird vereinfacht, um die beste Einbettungsposition zu finden (d. h. das übertragbare Modul M_f in der Rth-Schicht einzubetten). Der Prozess zum Finden von Einbettungen kann folgendermaßen ausgedrückt werden:
#
Bitte überprüfen Sie die Einzelheiten Erklärungstext zur Formel. Im Allgemeinen umfasst die suchbasierte Einbettung die folgenden Punkte: 🎜#Nach dem Einbetten des Portabilitätsmoduls in das R-Layer-Superbody-Netzwerk
Szenario 2: Das durch Netzwerkklonen generierte Netzwerk verfügt über einen besseren Informationsübertragungsmodus. Diese Technologie kann Übertragungsverzögerungen und -verluste bei der Netzwerkübertragung reduzieren.
Bei der Netzwerkübertragung müssen wir nur die Sammlung übertragen In Kombination mit dem öffentlichen Modellzoo kann der Empfänger das ursprüngliche Netzwerk wiederherstellen. Im Vergleich zum gesamten geklonten Netzwerk ist sehr klein, wodurch die Übertragungslatenz verringert wird. Wenn bei A und F_c immer noch Übertragungsverluste auftreten, kann der Empfänger diese leicht durch Feinabstimmung des Datensatzes beheben. Daher bietet das Netzwerkklonen eine neue Netzwerkform für eine effiziente Übertragung.
Wir haben eine experimentelle Überprüfung der Klassifizierungsaufgabe durchgeführt. Um die lokale Leistungscharakterisierungsfähigkeit übertragbarer Module zu bewerten, führen wir die bedingte Ähnlichkeitsmetrik ein:
wobei Sim_cos (∙) Kosinusähnlichkeit darstellt.
Die obige Tabelle zeigt die experimentellen Ergebnisse für MNIST, CIFAR-10, CIFAR-100 und Tiny-ImageNet. Es ist ersichtlich, dass die Leistungsverbesserung des Modells durch Netzwerkklonen (PNC) erzielt wird das bedeutendste Mit. Und eine Feinabstimmung des gesamten Netzwerks (PNC-F) wird die Netzwerkleistung nicht verbessern, im Gegenteil, sie wird die Voreingenommenheit des Modells erhöhen.
Darüber hinaus haben wir die Qualität der migrierbaren Module bewertet (wie oben gezeigt). Wie aus der Abbildung (links) ersichtlich ist, ist jedes aus jedem Unterdatensatz gelernte Merkmal mehr oder weniger korreliert, was zeigt, wie wichtig es ist, lokale Merkmale aus dem überarbeiteten Netzwerk zu extrahieren und zu lokalisieren. Für übertragbare Module berechnen wir deren Ähnlichkeit Sim (∙). Die Abbildung (rechts) zeigt, dass das übertragbare Modul in seiner Ähnlichkeit dem zu klonenden Teildatensatz sehr ähnlich ist und seine Beziehung zu den verbleibenden Teildatensätzen abgeschwächt ist (außerhalb der Diagonale liegende Bereiche werden mit einer helleren Farbe als im Matrixplot markiert). des Quellnetzwerks). Daher kann der Schluss gezogen werden, dass das übertragbare Modul die lokale Leistung des zu klonenden Aufgabensatzes erfolgreich simuliert und damit die Richtigkeit der Positionierungsstrategie beweist.
In diesem Artikel wird eine neue Wissenstransferaufgabe namens Partial Network Cloning (PNC) untersucht, bei der Parametermodule aus dem überarbeiteten Netzwerk durch Kopieren und Einfügen geklont und in das Ontologienetzwerk eingebettet werden. Im Gegensatz zu früheren Wissenstransfer-Setups (die auf der Aktualisierung der Parameter des Netzwerks basieren) stellt unser Ansatz sicher, dass die Parameter aller vorab trainierten Modelle unverändert bleiben. Die Kerntechnologie von PNC besteht darin, gleichzeitig wichtige Teile des Netzwerks zu lokalisieren und entfernbare Module einzubetten. Die beiden Schritte verstärken sich gegenseitig.
Wir zeigen herausragende Ergebnisse unseres Ansatzes in Bezug auf Genauigkeits- und Übertragbarkeitsmetriken für mehrere Datensätze.
Das obige ist der detaillierte Inhalt vonSuperkörper eines neuronalen Netzwerks? Neues nationales LV-Labor schlägt neue Technologie zum Klonen von Netzwerken vor. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!