启用url去重引擎可避免重复采集：开启「启用url历史去重」开关，配置规范化规则（忽略参数顺序、移除utm参数、正则清洗），并按需选择bloomfilter内存缓存或roaringbitmap+sqlite持久化方案。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
当你用AionClaw批量抓取商品页、新闻列表或询盘表单数据时，常遇到同一URL被反复请求——今天采5次，明天又采3次，不仅浪费代理流量，还导致数据库里堆满重复记录，销量统计翻倍、线索去重成本飙升。这问题不靠人工盯日志，得从机制上堵住。
启用内置URL去重引擎
打开AionClaw主界面 → 点击右下角系统托盘图标 → 选择「采集策略中心」→ 切换到「网络请求管理」标签页。
找到「启用URL历史去重」开关并开启。该功能默认关闭，【开启后所有新发起的HTTP/HTTPS请求都会自动比对本地已存URL哈希值，命中即跳过】。注意：此开关只影响后续任务，已运行中的采集流程不会中途生效。
确认下方「去重缓存路径」指向本地SSD分区（如C:\AionClaw\cache\url_bloom），避免放在网络盘或U盘——否则BloomFilter加载失败会导致去重完全失效。
配置URL规范化规则
在「网络请求管理」页中，点击「URL标准化设置」右侧的齿轮图标。
勾选「忽略参数顺序」和「移除utm_*类追踪参数」。很多电商链接带?utm_source=weibo&utm_medium=cpc，实际内容完全一样，但原始URL不同，不规范化就会被当作新链接重复采集。
手动添加自定义清洗规则：在「正则过滤行」中输入 ^https?://[^/]+/product/\d+\.html$，将带SKU变体、颜色参数的详情页（如/product/1001.html?color=red&size=l）统一归一为/product/1001.html。这一步能拦截82%以上的伪重复URL。
设置去重持久化级别
方法一：轻量级实时去重（推荐日常使用）
在「去重策略」下拉菜单中选择「BloomFilter + 内存缓存」。内存占用低（平均45MB），吞吐快，适合单日百万级URL去重，但设备重启后缓存清空，仅保障单次运行内不重复。
方法二：精准持久化去重（用于长期跑批）
选择「RoaringBitmap + 本地SQLite存储」。每次URL入库前会做完整哈希比对，支持跨天、跨任务判重，去重准确率99.999%，但首次建库需额外2.3秒初始化，且SQLite文件必须设为独占写入权限，【若多任务同时写入该DB文件，将触发锁表并阻塞全部采集流】。
切换后点击「立即重建去重索引」，等待进度条走完（约6～11秒），此时旧URL记录已载入，新任务即刻生效。
