Lorsque « tout diviser » rencontre la réparation d'image : pas besoin de marquage précis, cliquez sur l'objet pour réaliser la suppression de l'objet, le remplissage du contenu et le remplacement de la scène.

Début avril, Meta a publié le premier modèle de segmentation d'images de base de l'histoire - SAM (Segment Anything Model) [1]. En tant que modèle de segmentation, SAM possède des fonctionnalités puissantes et est très convivial. Par exemple, si l'utilisateur clique simplement pour sélectionner l'objet correspondant, l'objet sera segmenté immédiatement et le résultat de la segmentation est très précis. Au 15 avril, le référentiel GitHub de SAM comptait 26 000 étoiles.

Comment faire bon usage d'un modèle aussi puissant de « tout diviser » et l'étendre à des scénarios d'application avec des besoins plus pratiques est crucial. Par exemple, quel genre d'étincelles émergeront lorsque SAM répondra à des tâches pratiques d'inpainting d'images (Image Inpainting) ?

L'équipe de recherche de l'Université des sciences et technologies de Chine et de l'Institut oriental de technologie a donné une réponse étonnante. Basé sur SAM, ils ont proposé le modèle « Inpaint Anything » (IA). Différent des modèles de réparation d'images traditionnels, le modèle IA ne nécessite pas d'opérations détaillées pour générer des masques et prend en charge le marquage des objets sélectionnés en un seul clic. IA peut réaliser supprimer n'importe quoi (Supprimer n'importe quoi), tout remplir (Remplir n'importe quoi), remplacer n'importe quoi. couvre une variété de scénarios d'application typiques de réparation d'images, notamment la suppression de cible, le remplissage de cible, le remplacement d'arrière-plan, etc.

• Lien papier : http://arxiv.org/abs/2304.06790
• Lien de la bibliothèque de codes : https://github.com/geekyutao/Inpaint-Anything

Introduction à la méthode

Bien que les systèmes actuels d'inpainting d'images aient fait des progrès significatifs, ils sont toujours confrontés à des difficultés pour sélectionner les images de masque et combler les trous. Sur la base de SAM, les chercheurs ont essayé pour la première fois la réparation d'images sans masque et ont construit un nouveau paradigme de réparation d'image « Cliquer et remplir », qu'ils ont appelé tout patcher (Inpaint Anything) (IA). L'idée principale derrière IA est de combiner les avantages de différents modèles pour créer un système de réparation d'images puissant et convivial .

IA a trois fonctions principales : (i) Supprimer n'importe quoi : les utilisateurs n'ont qu'à cliquer sur l'objet qu'ils souhaitent supprimer, et IA supprimera l'objet sans laisser de trace, obtenant ainsi une "élimination magique" efficace (ii) Remplissez n'importe quoi : en même temps, l'utilisateur peut indiquer en outre à IA ce qu'il souhaite remplir dans l'objet via une invite de texte (invite de texte), et IA pilotera ensuite le modèle AIGC (AI-Generated Content) intégré (tel que la diffusion stable [2]) génère les objets remplis de contenu correspondants pour réaliser une « création de contenu » à volonté ; (iii) Remplacer n'importe quoi : l'utilisateur peut également cliquer pour sélectionner les objets qui doivent être conservés et utiliser des invites textuelles pour indiquer à IA ce qu'il veut. Vous pouvez remplacer l'arrière-plan de l'objet par le contenu spécifié pour obtenir une « transformation d'environnement » éclatante. Le cadre global de l'IA est présenté dans la figure ci-dessous :

Diagramme Inpaint Anything (IA). Les utilisateurs peuvent sélectionner n'importe quel objet dans l'image en cliquant dessus. En tirant parti de modèles de vision puissants tels que SAM [1], LaMa [3] et Stable Diffusion (SD) [3], IA est capable de supprimer en douceur les objets sélectionnés (c'est-à-dire de supprimer n'importe quoi). De plus, en saisissant des invites de texte dans IA, l'utilisateur peut remplir l'objet avec n'importe quel contenu souhaité (c'est-à-dire, remplir n'importe quoi) ou remplacer arbitrairement l'objet de l'objet (c'est-à-dire, remplacer n'importe quoi).

Supprimez tout

Schéma de principe de Supprimer n'importe quoi

Les étapes pour "Supprimer tout" sont les suivantes :

• Étape 1 : L'utilisateur clique sur l'objet qu'il souhaite supprimer ;
Étape 2 : SAM segmente l'objet ;
Étape 3 : Le modèle d'inpainting d'image (LaMa) remplit l'objet.

Fill Anything

Fill Anything diagramme, l'invite de texte utilisée dans l'image : un ours en peluche sur un banc

« Remplissez tout » Les étapes sont les suivantes :

Étape 1 : L'utilisateur clique sur l'objet qu'il souhaite supprimer
Étape 2 : SAM segmente l'objet
Étape 3 : L'utilisateur exprime ses pensées à travers le contenu textuel ; à remplir ;
Étape 4 : Le modèle d'inpainting d'image basé sur une invite de texte (Diffusion stable) remplit l'objet en fonction du texte fourni par l'utilisateur.

REPLACEZ QUELQUE CHOSE SICHAGNE DE TEMPS, l'invite de texte utilisée dans l'image: Un homme en bureau

"Remplissez tout" les étapes sont les suivantes: Étape 1 : L'utilisateur clique sur l'objet qu'il souhaite supprimer ;

Étape 2 : SAM segmente l'objet

• Étape 3 : L'utilisateur indique le fond qu'il souhaite remplacer par le biais du texte ; : Le modèle d'inpainting d'image basé sur des invites de texte (Stable Diffusion) remplace l'arrière-plan de l'objet en fonction du texte fourni par l'utilisateur.
• Résultats du modèle
• Les chercheurs ont ensuite testé Inpaint Anything sur l'ensemble de données COCO [4], l'ensemble de données de test LaMa [3] et leurs propres images 2K HD prises avec leurs téléphones portables. Il convient de noter que le modèle du chercheur prend également en charge les images haute définition 2K et tous les formats d’image, ce qui permet des applications de migration efficaces du système IA dans divers environnements d’intégration et cadres existants.
• Supprimer tous les résultats expérimentaux

Remplir tous les résultats expérimentaux

Invite textuelle : un objectif d'appareil photo dans la main

Invite de texte : un porte-avions sur la mer

Invite de texte : une peinture de Picasso sur le mur

Remplacer tous les résultats expérimentaux

Invite texte : asseyez-vous sur la balançoire

Invite texte : petit-déjeuner

Invite texte : un bus, au centre d'une route de campagne, l'été

"Invite de texte : carrefour dans la ville" . Inpaint Anything (IA) proposé par le projet est un système de réparation d'images multifonctionnel qui intègre la suppression d'objets, le remplissage de contenu, le remplacement de scènes et d'autres fonctions (d'autres fonctions sont en route, alors restez à l'écoute).

IA combine des modèles visuels de base tels que SAM, des modèles de réparation d'image (tels que LaMa) et des modèles AIGC (tels que Stable Diffusion) pour réaliser une réparation d'image conviviale sans masque, et prend également en charge « cliquer pour supprimer, remplissage rapide » et d'autres opérations humanisées « de style idiot ». De plus, IA peut traiter des images avec des formats d’image arbitraires et une résolution HD 2K, quel que soit le contenu original de l’image.

Actuellement, le

projet est entièrement open source

. Enfin, tout le monde est invité à partager et à promouvoir Inpaint Anything (IA), et j'ai hâte de voir d'autres nouveaux projets basés sur IA. À l'avenir, les chercheurs exploreront davantage le potentiel d'Inpaint Anything (IA) pour prendre en charge de nouvelles fonctions plus pratiques, telles que la découpe d'image à granularité fine, l'édition, etc., et l'appliquer à des applications plus réelles.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!