Le MIT et Google recherchent conjointement la nouvelle technologie StableRep : utiliser des images synthétiques pour former des modèles d'images IA

L'accent est mis sur :

Des chercheurs ont proposé une nouvelle technologie appelée StableRep qui utilise des images générées par l'intelligence artificielle pour former des modèles d'images d'intelligence artificielle très détaillés

StableRep s'entraîne à l'aide de millions d'images synthétiques étiquetées, adopte une « méthode d'apprentissage à contrastes positifs multiples » pour améliorer le processus d'apprentissage et l'applique au modèle texte-image open source Stable Diffusion

- ⚙️ Bien que StableRep ait obtenu des résultats remarquables dans la classification ImageNet, il est lent à générer des images et il existe une inadéquation sémantique entre les astuces textuelles et les images générées.

Webmaster Home (ChinaZ.com) Actualités du 28 novembre : Des chercheurs du MIT et de Google ont récemment développé une nouvelle technologie appelée StableRep, qui vise à utiliser les images générées par l'IA pour former un modèle d'image d'IA plus détaillé et plus efficace. Cette technologie a été appliquée au modèle open source de conversion texte-image Stable Diffusion, réalisant une série de réalisations notables.

StableRep utilise une méthode unique appelée « méthode d'apprentissage à contraste positif multiple ». Dans cette approche, plusieurs images provenant de la même invite textuelle sont considérées comme des contrastes positifs les unes par rapport aux autres pour améliorer le processus d'apprentissage. Par exemple, pour l'invite de texte de paysage, le modèle comparera plusieurs images de paysage générées avec toutes les descriptions pertinentes pour trouver de petites différences basées sur ces images et les appliquera au résultat final, créant ainsi une image très détaillée

Les chercheurs notent que leur méthode excelle dans le traitement de plusieurs images comme des expressions de la même chose sous-jacente, plutôt que comme une simple collection de pixels. Des expériences ont prouvé que StableRep a atteint une précision linéaire de 76,7 % dans la tâche de classification ImageNet à l'aide du modèle Vision Transformer. De plus, en introduisant la supervision du langage, le modèle StableRep formé sur 20 millions d'images synthétiques a surpassé les performances du modèle CLIP formé sur 50 millions d'images réelles

Cependant, les générateurs stables ne sont pas sans défauts. Il génère des images lentement et souffre d'une inadéquation sémantique entre les invites textuelles et les images générées. De plus, la diffusion stable, le modèle sous-jacent du générateur stable, nécessite une formation initiale sur des données réelles, donc générer des images à l'aide du générateur stable prendra plus de temps et peut être plus coûteux

StableRep est open source sur GitHub et est disponible pour un usage commercial. Il adopte la licence Apache 2.0 et les utilisateurs peuvent l'utiliser et générer des œuvres dérivées, mais ils doivent fournir une copie de la licence Apache dans l'œuvre redistribuée ou l'œuvre dérivée et inclure un avis de modification. La licence inclut également une limitation de la responsabilité du contributeur pour tout dommage résultant de l'utilisation de l'œuvre sous licence. Stable Replica (StableRep) a été publié en open source sur GitHub et peut être utilisé à des fins commerciales. Il adopte la licence Apache2.0, qui permet aux utilisateurs d'utiliser et de créer des œuvres dérivées. Cependant, dans les redistributions ou les œuvres dérivées, les utilisateurs sont tenus de fournir une copie de la licence Apache et de notifier les modifications apportées. Cette licence indemnise également les contributeurs de tout préjudice causé par leur utilisation de l'œuvre sous licence

Ce résultat de recherche du MIT et de Google représente une innovation dans le domaine de la génération d'images par intelligence artificielle. Bien qu'il présente quelques défauts, il fournit une nouvelle méthode et une nouvelle idée pour générer des images de haute qualité

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!