aixiv 专栏重磅发布：无需微调，高效目标移除的扩散模型新方法——attentive eraser
AIxiv 专栏持续关注并报道全球顶尖AI研究成果。过去数年，我们已发布超过2000篇学术技术文章，涵盖各大高校和企业实验室的最新研究。欢迎投稿或联系我们报道您的优秀工作！投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
研究团队: 浙江工商大学统计与数学学院硕士生孙文灏、阿里巴巴算法工程师崔奔雷（共同第一作者），浙江工商大学统计与数学学院董雪梅教授（通讯作者）。
扩散模型在图像生成领域取得了显著进展，尤其在处理高维复杂数据方面优势明显。然而，将其应用于图像目标移除任务时，仍面临诸多挑战，例如移除目标后残留伪影等问题。为解决这些问题，本文提出了一种无需微调的基于扩散模型的目标移除方法——Attentive Eraser，显著提升了预训练扩散模型的目标移除能力。AAAI 2025 录用并选为 Oral Presentation。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
核心创新：
Attentive Eraser 的核心在于其双重创新：
-
注意力激活和抑制 (AAS)： 通过巧妙地修改预训练扩散模型的自注意力机制，增强模型对背景的关注，同时抑制对前景目标的关注。 此外，引入相似性抑制 (SS) 机制，有效避免因自注意力机制导致的对背景中相似目标的误判。
-
自注意力重定向引导 (SARG)： 利用 AAS 修改后的自注意力机制，引导逆向扩散采样过程，从而更精准地移除目标并生成与背景自然融合的内容。
研究背景与方法：
当前，扩散模型如 Stable Diffusion (SD) 在图像生成方面表现出色。然而，直接应用于目标移除任务时，常出现伪影。虽然已有基于微调或提示工程的方法，但这些方法成本高且效果不稳定。Attentive Eraser 则提供了一种无需微调的解决方案，有效解决了这些问题。
实验结果:
实验结果表明，Attentive Eraser 在多种预训练扩散模型上均表现出色，甚至优于一些基于微调的方法。其在目标移除的质量和稳定性方面均取得了显著提升。用户偏好研究和 GPT-4o 评估进一步验证了其优越性。
鲁棒性和可扩展性：
Attentive Eraser 对不同精细度的掩码具有鲁棒性，并可扩展到其他预训练扩散模型（例如，生成动漫图像的模型）。
论文及代码:
- 论文标题：Attentive Eraser: Unleashing Diffusion Model's Object Removal Potential via Self-Attention Redirection Guidance
- 论文链接：https://www.php.cn/link/49d86226f20f62ca878fd1b8e4cfc29c
- Github 地址：https://www.php.cn/link/41111c8e0e924d1df17bf19f0da5c100
- Diffusers Pipeline：https://www.php.cn/link/38d526e00fad4f0b9b4534405e5badfd
- Model Scope Demo：https://www.php.cn/link/eb7bfee7a00af6aedab37fdb7fc71d64
- Hugging Face Demo：https://www.php.cn/link/8210d4caae707aa1f8be6d3fd558812b
欢迎访问论文链接了解更多细节。
