ICML 2024 | La représentation du signal est exponentiellement plus forte, l'économie de mémoire dépasse 35 %, un réseau de représentation implicite quantique arrive

La rubrique AIxiv est une rubrique où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com

Les auteurs de cet article sont le professeur Zhang Peng du Département de renseignement et d'informatique de l'Université de Tianjin, son étudiant à la maîtrise Zhao Jiaming et son doctorant. les étudiants Qiao Wenbo et Gao Jue. Ce travail de recherche a été financé par la Fondation nationale des sciences naturelles de Chine et le Laboratoire conjoint Wenge des sciences et technologies de l’Université de Tianjin et de Chine.

• Titre de l'article : Représentations neuronales implicites quantiques
• Auteurs de l'article : Jiaming Zhao, Wenbo Qiao, Peng Zhang*, Hui Gao
• Lien de l'article : https://arxiv.org/abs /2406.03873

Introduction

L'équipe d'intelligence quantique et de compréhension du langage de l'Université de Tianjin a introduit de manière innovante l'informatique quantique dans le domaine de la représentation neuronale implicite et a proposé le réseau de représentation implicite quantique (Q uantum Implicit Representation Network, QIREN). Par rapport à la méthode classique des réseaux de neurones, cette méthode a en théorie des capacités de représentation du signal exponentiellement plus fortes. Les résultats expérimentaux confirment également que QIREN présente effectivement d'excellentes performances au-delà du modèle SOTA sur les tâches de représentation du signal. Avec moins de paramètres, l'erreur d'ajustement est réduite jusqu'à 35 %. Les idées principales et les principales conclusions de cet article sont présentées dans la figure 1. Les articles pertinents ont été acceptés par ICML 2024, l'une des conférences les plus réputées dans le domaine de l'apprentissage automatique.傅 Figure 1. Réseau neuronal de Fourier classique et réseau neuronal de Fourier quantique.

Ces dernières années, la représentation neuronale implicite a attiré une large attention en tant que méthode émergente de représentation du signal. Les représentations neuronales implicites présentent un certain nombre d'avantages uniques par rapport aux représentations traditionnelles à grille discrète, telles que les images représentées par une grille de pixels. Premièrement, il a la capacité d’une « résolution infinie » et peut échantillonner à n’importe quelle résolution spatiale. Deuxièmement, la représentation neuronale implicite permet une excellente économie d’espace de stockage et facilite le stockage des données. En raison de ces avantages uniques, la représentation neuronale implicite est rapidement devenue un paradigme courant pour représenter des signaux tels que des images, des objets et des scènes 3D. La plupart des premières recherches sur les représentations neuronales implicites ont été fondées sur des perceptrons multicouches (MLP) basés sur ReLU. Cependant, il est difficile pour le MLP basé sur ReLU de modéliser avec précision la partie haute fréquence du signal, comme le montre la figure 2. Des recherches récentes ont commencé à explorer l'utilisation des réseaux de neurones de Fourier (FNN) pour surmonter cette limitation. Cependant, face à des tâches d'adaptation de plus en plus complexes dans des applications réelles, les réseaux neuronaux de Fourier classiques nécessitent également de plus en plus de paramètres de formation, ce qui augmente la demande en ressources informatiques. La représentation neuronale implicite quantique proposée dans cet article tire parti des avantages quantiques pour réduire les paramètres et la consommation informatique. Cette solution peut apporter une nouvelle inspiration au domaine de la représentation neuronale implicite et même de l'apprentissage automatique.

                                                                                                                                                                                         Figure 2. Différentes composantes de fréquence de l'image réelle (en haut) et différentes composantes de fréquence de l'image ajustée par MLP basé sur ReLU (en bas)

Modèle

                                                                                                                                                                                   ^{fin. Le modèle prend les coordonnées en entrée et génère des valeurs de signal. Les données entrent initialement dans la couche mixte, en commençant par la couche linéaire et la couche BatchNorm, ce qui donne :}

et sont ensuite introduites dans le circuit quantique de ré-téléchargement des données QC. Sur les figures 2 (b) et (c), nous donnons la mise en œuvre spécifique des circuits quantiques de la couche de paramètres et de la couche de codage. La couche de paramètres se compose de K blocs empilés. Chaque bloc contient une porte de spin appliquée à chaque qubit, ainsi que des portes CNOT connectées de manière circulaire. La couche de codage applique des portes sur chaque qubit. Enfin, nous mesurons la valeur attendue d'un état quantique par rapport à un observable. Le résultat d'un circuit quantique est donné par :

où O représente tout observable. La sortie de la nième couche de fusion sera utilisée comme entrée de la (n+1)ième couche. Enfin, nous ajoutons une couche linéaire pour recevoir et sortir. Nous utilisons l'erreur quadratique moyenne (MSE) comme fonction de perte pour entraîner le modèle :

Analyse théorique du modèle

Dans certaines études antérieures, les propriétés mathématiques du circuit quantique de ré-téléchargement de données ont été révélées. Essentiellement, le circuit quantique de ré-téléchargement de données doit s'adapter à la fonction objectif sous la forme. d'une série de Fourier. Cependant, les travaux antérieurs n'ont exploré que les circuits multicouches à qubit unique ou les circuits multi-qubits monocouches, et n'ont pas comparé les méthodes classiques et n'ont pas trouvé les avantages des circuits quantiques de rechargement de données. Nous étendons nos recherches aux circuits multicouches multi-qubits. De plus, nous avons prouvé que dans le domaine de la représentation neuronale implicite, le réseau neuronal quantique hybride QIREN, qui utilise des circuits quantiques de rechargement de données comme composant principal, présente des avantages exponentiels par rapport aux méthodes classiques. Nous avons analysé le rôle de la couche quantique et de la couche classique dans QIREN et l'avons résumé dans les trois points suivants :

1 Dans des conditions optimales, la capacité de rechargement des données à représenter les séries de Fourier du circuit quantique augmente avec le. La taille du circuit augmente de façon exponentielle.

Voir les sections 4.2 et 4.3 du document pour une dérivation spécifique.

2. La fonction de la couche linéaire est d'élargir davantage le spectre et d'ajuster la fréquence, améliorant ainsi les performances d'ajustement.

Appliquer une couche linéaire avant de télécharger des données sur un circuit quantique équivaut à ajuster les valeurs propres de l'hamiltonien de la couche de codage, affectant finalement le spectre. Cette approche a deux avantages. Premièrement, cela peut élargir le spectre. Certains termes redondants sont produits dans le spectre lors du codage uniquement avec des portes. Cette redondance peut être réduite en utilisant des couches linéaires. Deuxièmement, il permet d'ajuster la couverture du spectre, visant à couvrir des fréquences avec des coefficients plus grands et plus importants. Par conséquent, l’ajout d’une couche linéaire peut encore améliorer les performances d’ajustement de QIREN.

3. Le rôle de la couche Batchnorm est d'accélérer la convergence du modèle quantique.

Dans les réseaux neuronaux à rétroaction, les données passent généralement par la couche BatchNorm avant la fonction d'activation, ce qui empêche efficacement le problème de disparition du gradient. De même, dans QIREN, les circuits quantiques remplacent la fonction d'activation et jouent un rôle dans la non-linéarité (le circuit quantique lui-même est linéaire, mais le processus de téléchargement de données classiques vers le circuit quantique est non linéaire). Par conséquent, nous avons ajouté ici une couche BatchNorm dans le but de stabiliser et d'accélérer la convergence du modèle.

Résultats expérimentaux

Nous avons vérifié les performances supérieures de QIREN dans la représentation des signaux, en particulier des signaux haute fréquence, à travers des tâches de représentation d'images et de représentation sonore. Les résultats expérimentaux sont présentés dans le tableau 1. QIREN et SIREN ont montré des performances similaires sur la tâche de représentation sonore. Bien que les performances des deux modèles semblent comparables, il convient de souligner que notre modèle réalise 35,1 % d'économies de mémoire avec le moins de paramètres, et la convergence de SIREN nécessite de définir des hyperparamètres appropriés, alors que notre modèle ne fait pas cette restriction. Nous avons ensuite analysé les résultats du modèle du point de vue de la fréquence. Nous visualisons le spectre de sortie du modèle dans la figure 4. Il est évident que les distributions basse fréquence issues du modèle sont proches de la situation réelle. Cependant, en ce qui concerne les distributions haute fréquence, QIREN et SIREN s'adaptent bien, suivis par MLP basé sur ReLU avec caractéristiques de Fourier aléatoires (RFF). Les MLP basés sur ReLU et Tanh n'ont même pas la partie haute fréquence du signal.

^{Tableau 1. MSE() du modèle sur les tâches de représentation du signal et de super-résolution d'image. Les modèles considérés comme SOTA sont marqués *. params représente la quantité de paramètres du modèle et mem représente la mémoire économisée par le modèle par rapport à la représentation en grille discrète.任 Figure 4. Son indiquant le spectre de sortie du modèle dans la tâche. Qiren obtient les meilleures performances dans la tâche de représentation d'image. Par rapport au modèle SOTA, l'erreur est La réduction maximale était de 34,8 %. Pour explorer davantage les capacités de représentation du signal du modèle, nous utilisons des filtres pour séparer les composantes haute fréquence et basse fréquence de sa sortie et comparer les erreurs d'ajustement de ces deux composantes respectivement, avec les résultats présentés dans la figure 5. QIREN atteint systématiquement les erreurs les plus faibles lors de l’ajustement des composants haute et basse fréquence.}

                                                                                                                                                                                                                         ^{Figure 5. erreur ative de chaque modèle par rapport au MLP basé sur Tanh. Les zones ombrées représentent les erreurs à basse fréquence, tandis que les zones non ombrées représentent les erreurs à haute fréquence.}

Les dernières recherches introduisent un cadre révolutionnaire pour étendre les représentations neuronales implicites à la génération d'images. Plus précisément, le cadre utilise un hyperréseau prenant des distributions aléatoires en entrée pour générer des paramètres qui caractérisent implicitement le réseau. Par la suite, ces paramètres générés sont attribués au réseau de représentation implicite. Enfin, le réseau de représentation implicite génère des images en prenant les coordonnées en entrée. Une approche contradictoire est utilisée pour garantir que les images générées sont cohérentes avec les résultats souhaités. Dans cette tâche, nous adoptons un tel cadre et nous basons sur StyleGAN2.

Les résultats expérimentaux sont présentés dans le tableau 2. Nous explorons également plus en détail certaines fonctionnalités intéressantes du générateur QIREN, comme le montrent les figures 6 et 7. F Tableau 2. Score FID du modèle sur les jeux de données FFHQ et CELEBA-HQ.

                                                                                                                                                                                                                                                                                                                                          Figure 7. Interpolation significative de l'espace image

résumé

Ce travail intègre non seulement les avantages quantiques dans la représentation neuronale implicite, mais ouvre également une direction d'application prometteuse pour l'espace image quantique. réseaux de neurones - représentation neuronale implicite. Il convient de souligner que les représentations neuronales implicites ont de nombreuses autres applications potentielles, telles que la représentation de scènes ou d'objets 3D, la prédiction de séries chronologiques et la résolution d'équations différentielles. Pour une large classe de tâches modélisant des signaux continus, nous pouvons envisager d’introduire des réseaux de représentation implicite comme composant de base. Sur la base des fondements théoriques et expérimentaux de cet article, nous pouvons étendre QIREN à ces applications dans des travaux futurs, et QIREN devrait produire de meilleurs résultats avec moins de paramètres dans ces domaines. Dans le même temps, nous avons trouvé un scénario d’application approprié pour l’apprentissage automatique quantique. Promouvoir ainsi de nouvelles recherches pratiques et innovantes au sein de la communauté de l’apprentissage automatique quantique.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!