Maison > Article > Périphériques technologiques > Le modèle de diffusion récemment populaire, la première revue des modèles de génération de diffusion !
Cette revue (Diffusion Models: A Comprehensive Survey of Methods and Applications) provient de Ming-Hsuan Yang de l'Université de Californie et de Google Research, du laboratoire Cui Bin de l'Université de Pékin et d'équipes de recherche telles que CMU, UCLA, et l'Institut de recherche Mila de Montréal. Pour la première fois, un résumé et une analyse complets des modèles de diffusion existants ont été réalisés, à partir de la classification détaillée de l'algorithme du modèle de diffusion, de son association avec cinq autres modèles génératifs majeurs et de son application dans sept modèles majeurs. Enfin, le modèle de diffusion a été proposé en tenant compte des limites existantes du modèle et des orientations de développement futures.
Lien de l'article : https://arxiv.org/abs/2209.00796 Cet examen des modèles de diffusion résumé de la classification des papiers lien github : https://github.com/YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy
Les modèles de diffusion sont le nouveau SOTA dans les modèles génératifs profonds. Le modèle de diffusion surpasse le SOTA : GAN original dans les tâches de génération d'images et présente d'excellentes performances dans de nombreux domaines d'application, tels que la vision par ordinateur, la PNL, le traitement du signal de forme d'onde, la modélisation multimodale, la modélisation de graphiques moléculaires et la modélisation de séries chronologiques, antagonistes. purification, etc De plus, les modèles de diffusion sont étroitement liés à d’autres domaines de recherche, tels que l’apprentissage robuste, l’apprentissage par représentation et l’apprentissage par renforcement.
Cependant, le modèle de diffusion original présente également des défauts. Sa vitesse d'échantillonnage est lente, nécessitant généralement des milliers d'étapes d'évaluation pour tirer un échantillon ; son estimation du maximum de vraisemblance n'est pas comparable à celle des modèles basés sur la vraisemblance ; accéder à différents types de données est difficile. De nos jours, de nombreuses études ont déployé de nombreux efforts pour résoudre les limitations ci-dessus du point de vue des applications pratiques, ou ont analysé les capacités du modèle d'un point de vue théorique.
Cependant, il manque un examen systématique des avancées récentes dans les modèles de diffusion, des algorithmes aux applications. Pour refléter les progrès dans ce domaine en croissance rapide, nous présentons la première revue complète des modèles de diffusion. Nous envisageons que nos travaux mettront en lumière les considérations de conception et les méthodes avancées des modèles de diffusion, démontreront leurs applications dans différents domaines et indiqueront les orientations de recherche futures. Le résumé de cette revue est présenté ci-dessous :
Bien que le modèle de diffusion ait d'excellentes performances dans diverses tâches, il a encore ses propres défauts et de nombreuses études ont amélioré le modèle de diffusion.
Afin de clarifier systématiquement les progrès de la recherche sur les modèles de diffusion, nous avons résumé les trois principales lacunes du modèle de diffusion original, la vitesse d'échantillonnage lente, la différence de vraisemblance maximale et la faible capacité de généralisation des données, et avons proposé des recherches sur l'amélioration des modèles de diffusion. Divisé en trois catégories correspondantes : amélioration de la vitesse d’échantillonnage, amélioration du maximum de vraisemblance et amélioration de la généralisation des données.
Nous expliquons d'abord la motivation à l'amélioration, puis classons davantage la recherche dans chaque direction d'amélioration en fonction des caractéristiques de la méthode, afin de montrer clairement les liens et les différences entre les méthodes. Ici, nous sélectionnons uniquement quelques méthodes importantes à titre d'exemples. Chaque type de méthode est présenté en détail dans notre travail, comme le montre la figure :
Après avoir analysé les trois types de modèles de diffusion, nous présenterons les cinq autres. modèles génératifs GAN, VAE, modèle autorégressif, flux normalisant et modèle basé sur l'énergie.
Compte tenu des excellentes propriétés du modèle de diffusion, les chercheurs ont combiné le modèle de diffusion avec d'autres modèles génératifs en fonction de ses caractéristiques. Par conséquent, afin de démontrer davantage les caractéristiques et les travaux d'amélioration du modèle de diffusion, nous avons introduit le modèle de diffusion. et d'autres modèles génératifs en détail La combinaison de modèles fonctionne et illustre les améliorations par rapport au modèle génératif d'origine.
Le modèle de diffusion a d'excellentes performances dans de nombreux domaines, et étant donné que le modèle de diffusion présente différentes déformations dans les applications dans différents domaines, nous avons systématiquement introduit la recherche d'application du modèle de diffusion, y compris les domaines suivants : vision par ordinateur, PNL, traitement du signal de forme d'onde. , modélisation multimodale, modélisation de graphes moléculaires, modélisation de séries chronologiques, purification contradictoire. Pour chaque tâche, nous définissons la tâche et présentons le travail qui utilise le modèle de diffusion pour gérer la tâche Nous résumons les principales contributions de ce travail comme suit :
.Un problème central de la modélisation générative est le compromis entre la flexibilité du modèle et la calculabilité. L'idée de base du modèle de diffusion est de perturber systématiquement la distribution des données via le processus de diffusion directe, puis de restaurer la distribution des données en apprenant le processus de diffusion inverse, produisant ainsi un modèle très flexible et facile à calculer. modèle génératif.
(1) Modèles probabilistes de diffusion de débruitage (DDPM)
Un DDPM se compose de deux chaînes de Markov paramétrées et utilise l'inférence variationnelle pour générer une distribution cohérente avec les données d'origine après un échantillon de temps fini. La fonction de la chaîne directe est de perturber les données. Elle ajoute progressivement du bruit gaussien aux données selon le programme de bruit prédéfini jusqu'à ce que la distribution des données tende vers la distribution antérieure, c'est-à-dire la distribution gaussienne standard. La chaîne arrière part d'un a priori donné et utilise un noyau de transformation gaussienne paramétré, apprenant à restaurer progressivement la distribution des données d'origine. représente les données d'origine et leur distribution, alors la distribution de la chaîne directe peut être exprimée par la formule suivante :
Cela montre que la chaîne directe est un processus de Markov, qui est un échantillon après avoir ajouté t étapes de bruit, et est donné à l'avance Certains paramètres qui contrôlent la progression du bruit. Lorsqu'elle tend vers 1, elle peut être considérée approximativement comme obéissant à la distribution gaussienne standard. Lorsqu'il est petit, le noyau de transfert du processus inverse peut être approximativement considéré comme gaussien :
Nous pouvons apprendre la borne inférieure variationnelle comme fonction de perte :
(2) Score- Modèles génératifs basés (SGM)
Le DDPM ci-dessus peut être considéré comme la forme discrète de SGM. SGM construit une équation différentielle stochastique (SDE) pour perturber en douceur la distribution des données et transformer la distribution des données d'origine en une distribution antérieure connue :
et une SDE inverse correspondante pour transformer la distribution antérieure en arrière Distribution des données brutes :
Ainsi, pour inverser le processus de diffusion et générer des données, la seule information dont nous avons besoin est la fonction fractionnaire à chaque instant. En utilisant la technique de correspondance de score, nous pouvons apprendre la fonction de score grâce à la fonction de perte suivante :
Pour une introduction plus approfondie aux deux méthodes et à la relation entre les deux, veuillez consulter notre article. Les trois principaux défauts du modèle de diffusion original sont la lenteur de l’échantillonnage, une faible maximisation de la vraisemblance et une faible capacité de généralisation des données. De nombreuses études récentes ont abordé ces lacunes, c'est pourquoi nous classons les modèles de diffusion améliorés en trois catégories : amélioration de la vitesse d'échantillonnage, amélioration du maximum de vraisemblance et amélioration de la généralisation des données. Dans les trois, quatre et cinq prochaines sections, nous présenterons en détail ces trois types de modèles.
Lorsqu'il est appliqué, afin d'optimiser la qualité du nouvel échantillon, le modèle de diffusion nécessite souvent des milliers d'étapes de calcul pour obtenir un nouvel échantillon. Cela limite la valeur d’application pratique du modèle de diffusion, car dans l’application réelle, nous devons souvent générer un grand nombre de nouveaux échantillons pour fournir des matériaux pour l’étape suivante du traitement.
Les chercheurs ont mené de nombreuses recherches pour améliorer la vitesse d'échantillonnage du modèle de diffusion. Nous décrivons ces études en détail. Nous l'affinons en trois méthodes : optimisation de la discrétisation, processus non markovien et échantillonnage partiel.
(1) La méthode d'optimisation de discrétisation optimise la méthode de résolution du SDE de diffusion. Étant donné que la résolution de SDE complexes ne peut en réalité utiliser que des solutions discrètes pour se rapprocher de la solution réelle, ce type de méthode tente d'optimiser la méthode de discrétisation de SDE afin de réduire le nombre d'étapes discrètes tout en garantissant la qualité des échantillons. SGM propose une méthode générale pour résoudre le processus inverse, c'est-à-dire que la même méthode de discrétisation est adoptée pour les processus avant et arrière. Si la méthode de discrétisation du SDE direct est donnée :
alors nous pouvons discrétiser le SDE inverse de la même manière :
Cette méthode est légèrement meilleure que le DDPM naïf. De plus, SGM ajoute un correcteur au solveur SDE afin que les échantillons générés à chaque étape aient la bonne distribution. À chaque étape de la solution, une fois que le solveur a reçu un échantillon, le redresseur utilise une méthode de Monte Carlo par chaîne de Markov pour redresser la distribution de l'échantillon qui vient d'être généré. Les expériences montrent que l’ajout d’un correcteur au solveur est plus efficace que l’augmentation directe du nombre d’étapes dans le solveur.
(2) La méthode du processus non markovien dépasse les limites du processus markovien original. Chaque étape du processus inverse peut s'appuyer sur davantage d'échantillons passés pour prédire de nouveaux échantillons, elle peut donc également être effectuée en fonction de la taille de l'étape. est grande, produit de meilleures prédictions, accélérant ainsi le processus d’échantillonnage. Parmi eux, l'ouvrage principal DDIM ne suppose plus que le processus direct est un processus de Markov, mais obéit à la distribution suivante :
Le processus d'échantillonnage de DDIM peut être considéré comme une équation différentielle régulière divine discrétisée, et son Le processus d'échantillonnage est plus efficace et prend en charge l'interpolation des échantillons. Des recherches plus approfondies ont montré que DDIM peut être considéré comme un cas particulier du modèle de diffusion sur collecteur PNDM.
(3) La méthode d'échantillonnage partiel réduit directement le temps d'échantillonnage en ignorant une partie des nœuds temporels dans le processus de génération et en utilisant uniquement les nœuds temporels restants pour générer des échantillons. Par exemple, Progressive Distillation distille un modèle de diffusion plus efficace à partir d’un modèle de diffusion entraîné. Pour un modèle de diffusion entraîné, Progressive Distillation recyclera un modèle de diffusion afin qu'une étape du nouveau modèle de diffusion corresponde aux deux étapes du modèle de diffusion entraîné, afin que le nouveau modèle puisse économiser la moitié du processus d'échantillonnage de l'ancien modèle. L'algorithme spécifique est le suivant :
La boucle continue de ce processus de distillation peut réduire les étapes d'échantillonnage de manière exponentielle.
(1) La méthode de conception d'objectifs utilise la diffusion SDE pour déduire la relation entre la log de vraisemblance des données générées et la fonction de perte correspondant à la fonction de score. De cette manière, en concevant de manière appropriée la fonction de perte, la VLB et la log-vraisemblance peuvent être maximisées. Song et al. ont prouvé que la fonction de pondération de la fonction de perte peut être conçue de telle sorte que la valeur de la fonction de vraisemblance de l'échantillon généré par le SDE inversé du plug-in soit inférieure ou égale à la valeur de la fonction de perte, c'est-à-dire que la fonction de perte est la limite supérieure de la fonction de vraisemblance. La fonction de perte pour l'ajustement de la fonction fractionnaire est la suivante :
Il suffit de définir la fonction de poids sur le coefficient de diffusion g(t) pour que la fonction de perte devienne la VLB de la fonction de vraisemblance, c'est-à-dire :
(2) L'optimisation du programme de bruit augmente le VLB en concevant ou en apprenant le programme de bruit du processus avancé. VDM prouve que lorsque les étapes discrètes tendent vers l'infini, la fonction de perte est complètement déterminée par le point final de la fonction de rapport signal sur bruit SNR(t) :
Puis, lorsque les étapes discrètes tendent vers l'infini, le signal La fonction de rapport signal/bruit peut être apprise en optimisant le point final de SNR(t) VLB, et d'autres aspects du modèle sont améliorés en apprenant la valeur de la fonction dans la partie médiane de la fonction de rapport signal/bruit. 3. La méthode Learnable Reverse Variance apprend la variance du processus inverse, réduisant ainsi les erreurs d'ajustement et peut maximiser efficacement le VLB. Analytic-DPM prouve qu'il existe une attente et une variance optimales dans le processus inverse dans DDPM et DDIM :
En utilisant la formule ci-dessus et la fonction de score entraînée, compte tenu des conditions du processus direct, l'Excellent VLB optimal peut être atteint approximativement. 5 Par conséquent, le modèle de diffusion ne peut initialement gérer que des données continues telles que des images, et l'effet de l'application directe de données discrètes ou d'autres types de données est faible. Cela limite les scénarios d’application du modèle de diffusion.
Plusieurs travaux de recherche ont généralisé le modèle de diffusion à des modèles adaptés à d'autres types de données, et nous expliquons ces méthodes en détail. Nous le classons en deux types de méthodes : l'unification de l'espace de fonctionnalités et les noyaux de transition dépendant des données.
Cette formule est valable dans le sens d'ignorer les constantes. En paramétrant la fonction fractionnaire de l'échantillon dans le processus de diffusion, LSGM peut apprendre et optimiser efficacement ELBO.
(2) La méthode Data-Dependent Transition Kernels conçoit les noyaux de transition dans le processus de diffusion en fonction des caractéristiques du type de données, afin que le modèle de diffusion puisse être directement appliqué à des types de données spécifiques. D3PM a conçu un noyau de transition pour les données discrètes, qui peut être défini sur une marche aléatoire paresseuse, un état d'absorption, etc. GEODIFF a conçu un réseau neuronal de graphes invariants en translation-rotation pour les données de graphes moléculaires 3D et a prouvé que la distribution initiale invariante et le noyau de transition peuvent dériver une distribution marginale invariante. Supposons qu'il s'agisse d'une transformation translation-rotation, telle que :
Ensuite, l'échantillon de distribution généré a également une invariance translation-rotation :
est ci-dessous Dans chaque sous-section, nous présentons d'abord les cinq autres catégories importantes de modèles génératifs et analysons leurs avantages et leurs limites. Nous présentons ensuite comment les modèles de diffusion leur sont liés et illustrons comment ces modèles génératifs peuvent être améliorés en incorporant des modèles de diffusion. La relation entre VAE, GAN, modèle autorégressif, flux normalisant, modèle basé sur l'énergie et modèle de diffusion est illustrée dans la figure ci-dessous :
Dans cette section, nous introduisons l'application du modèle de diffusion en vision par ordinateur, traitement du langage naturel, traitement du signal de forme d'onde, apprentissage multimodal, génération de graphes moléculaires, séries chronologiques et confrontation Les applications dans sept domaines d'application majeurs tels que l'apprentissage, ainsi que les méthodes de chaque type d'application, sont subdivisées et analysées. Par exemple, en vision par ordinateur, le modèle de diffusion peut être utilisé pour la complétion et la réparation d'images (RePaint) :
Dans les tâches multimodales, le modèle de diffusion peut être utilisé pour la génération de texte en image (GLIDE ):
Vous pouvez également utiliser un modèle de diffusion pour générer des molécules de médicaments et des molécules de protéines (GeoDiff) dans la génération de graphes moléculaires :
Le résumé de la classification des applications est présenté dans le tableau :
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!