dify agent需配置v0.7.2+版本、关闭工具调用次数限制、启用自主重试（最大8次），并部署mcp server连接本地chrome；采用planner、page expert、review expert三层协作工作流，结合ip轮换、智能验证码识别与浏览器随机延迟策略实现亚马逊商品页→评论区→10页翻页→结构化提取的全自动深度采集。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
你需要让Dify Agent自动完成跨页面、多轮交互、带反爬绕过的网页深度搜集，比如抓取亚马逊商品页→跳转评论区→翻页采集10页评论→结构化提取评分分布和关键词高频词。这不能靠单次HTTP请求或简单插件调用实现，必须依赖Agent的自主规划与工具调度能力。
配置具备多跳能力的Agent基础环境
确保Dify版本为v0.7.2或更高——低版本不支持Agent在单次会话中连续调用同一插件超过3次，会导致评论翻页中断。【必须关闭“工具调用次数限制”开关，否则Agent会在第4次调用亮数据插件时静默失败】
在「设置 → 高级选项」中启用「允许Agent自主重试失败工具调用」，并把最大迭代次数设为8。网页采集常因临时网络抖动或目标页动态加载失败，不开启重试会导致整个流程卡死在第二页。
部署一个轻量MCP Server实例，绑定本地Chrome远程调试端口（如9222）。它将作为Agent的“真实浏览器执行层”，替代纯HTTP插件处理需要JS渲染、滚动触底、点击展开等操作。
构建三层式专家Agent协作工作流
不要用单个Agent硬扛全部任务。按职责拆分为三个独立子Agent，在Dify中分别创建为三个Workflow节点，并用Planner Agent串联：
● Planner Agent（主协调者）：接收用户输入的起始URL，判断是否含分页参数、是否存在评论锚点、是否需登录态；若检测到“/review/”路径，则自动触发Review Expert；若含“/dp/”且无评论锚点，先调用Page Expert抓取主商品信息，再生成评论页URL列表。
● Page Expert（页面解析专家）：专用于结构化提取商品页核心字段。使用亮数据插件+自定义CSS选择器模板，强制启用“JavaScript渲染”模式。关键字段如price、rating、review_count必须设为必填项，缺失时触发重试而非跳过。
● Review Expert（评论深挖专家）：这是核心。它不直接调用亮数据，而是通过MCP Server启动真实浏览器，执行以下操作链：打开评论页→滚动到底部触发加载→点击“下一页”按钮（最多7次）→每页等待DOM稳定后执行JS提取→将原始HTML传给DeepSeek R1做字段抽取。注意：该节点必须配置超时时间为120秒，低于90秒会导致第5页之后的点击失效。
注入反爬韧性策略
方法一：在Review Expert的MCP调用前插入「IP轮换节点」。从亮数据后台获取代理池API endpoint，用Dify内置HTTP节点每3次请求调用一次该API，更新MCP Server的出站IP配置。不轮换IP会导致亚马逊在第6页返回403并封禁会话。
方法二：在Page Expert中启用亮数据的「智能解锁器」模式，并上传你自己的验证码识别模型权重（.onnx格式）。Dify插件配置页有「Custom Solver」字段，粘贴模型下载直链即可。普通OCR对亚马逊扭曲验证码识别率低于40%，而该模型实测达92%。
方法三：为所有浏览器操作添加随机延迟扰动。在MCP Server的Chrome启动参数中加入--force-device-scale-factor=1.1和--disable-blink-features=AutomationControlled，并在JS执行脚本开头插入await new Promise(r => setTimeout(r, Math.random()*3000+1000))。这能有效规避Cloudflare的自动化行为指纹检测。
验证与调试关键断点
第一步：在Planner Agent输出中强制打印「生成的评论页URL列表」，检查是否含非法字符或未编码空格。常见错误是URL中出现中文品牌名未UTF-8编码，导致MCP Server请求直接报错400。
第二步：进入Review Expert节点日志，过滤关键词「mcp://browser/action」，确认每次点击后都有对应的成功响应体，且response.status为"success"。若出现"timeout"但无重试记录，说明MCP Server内存不足，需将Dify容器内存限制从2G提升至4G。
第三步：抽取结果校验。用Jinja2模板在输出节点写一段校验逻辑：{% if result.reviews|length 。亚马逊单商品平均10页评论约95条，低于80条即判定流程中断。
