Manus怎样自动抓取并清洗科技新闻【实操】

酷强小哥_3868

酷强小哥_3868

2026-06-30

968人浏览

原创

Manus可自动抓取36氪、TechCrunch等科技媒体AI板块新闻并清洗噪声,需v2.8.0+版本、MFA认证、启用browser_use与html_cleaner,配置精准CSS选择器及清洗规则后执行scrape_and_clean任务,输出结构化纯文本。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

manus怎样自动抓取并清洗科技新闻【实操】

你需要让Manus自动从科技媒体网页抓取新闻标题、发布时间、摘要和正文核心段落,并剔除广告、推荐位、评论区等噪声内容,生成干净可直接用于写作或分析的纯文本——比如每日同步36氪、TechCrunch、The Verge三站AI板块更新,跳过人工筛选与格式整理。

确认环境与权限配置

打开终端,执行manus --version,确保输出版本号 ≥ v2.8.0;旧版本无法调用html_cleaner和text_normalizer双清洗模块。

运行manus auth status检查登录状态;若未认证,必须先执行manus auth login并完成邮箱+MFA双重验证——【未通过MFA将导致cleaning阶段静默失败,无错误提示】。

编辑~/.manus/config.yaml,确认以下两行已启用:
browser_use: true
html_cleaner: true

配置新闻源与清洗规则

新建文件tech_news_config.yaml,写入:

sources:
- url: "https://36kr.com/ai"
selector: "div.article-item"
title: "a.article-title"
time: "span.article-time"
summary: "p.article-desc"
body: "div.article-content"
- url: "https://techcrunch.com/tag/ai/"
selector: "article.post-block"
title: "header h2 a"
time: "time[datetime]"
summary: "div.excerpt p"
body: "div.article-content"
cleaning_rules:
remove_selectors: ["div.ad-banner", "section.comments", "aside.recommend"]
normalize_whitespace: true
strip_html_tags: false
truncate_body: 800

注意:每个selector必须能精准包裹单条新闻容器,否则会跨条目混提;TechCrunch时间字段若提取为空,需改用time[datetime]::attr(datetime)语法获取ISO格式时间戳。

Manus(IOSapp)
Manus(IOSapp)

这款全能AI助手融合了深度推理、多模态对话与图像生成等前沿技术,全面赋能职场、学习与生活。它支持多模态搜索,精准响应各类信息需求;内置AI文档助手,快速提炼要点并生成思维导图;更有智能创作功能,一键生成报告与文案。强大的AI能力助你高效处理复杂任务,让工作与生活更轻松便捷。

下载

启动抓取与清洗流程

第一步:进入tech_news_config.yaml所在目录。

第二步:执行命令manus run --config tech_news_config.yaml --task "scrape_and_clean"。

第三步:等待终端输出[SUCCESS] Cleaned 12 articles → ./cleaned/tech_news_2026-06-29.md。

这一步会触发完整PEV闭环:Planning层解析YAML中多源结构→Execution层并行加载3个URL、注入data_extractor提取字段、调用html_cleaner移除广告区块→Verification层校验每条新闻的title+body非空→最终由text_normalizer统一缩进、去重空行、截断超长正文。

验证清洗结果质量

打开生成的./cleaned/tech_news_2026-06-29.md,检查前三条新闻是否满足:
• 每条以## [标题]开头,后接**发布时间:** 2026-06-29 14:22
• 正文首段为摘要,紧随其后是截断后的核心正文(≤800字符)
• 全文无广告文案、无“点击查看更多”按钮残留、无评论区HTML标签

若发现某条新闻正文含乱码,说明目标页面使用了动态字体渲染,需在config中为该源额外添加wait_for: ".article-content"字段,强制等待内容节点完全加载。

相关专题

更多
Manus AI使用指南大全
Manus AI使用指南大全

汇总 Manus AI 使用教程与实战案例,包含 Agent 自动化、AI 工作流、网页开发、Research 使用技巧以及新手快速入门指南。

2026.05.29

754

22

Manus AI案例汇总
Manus AI案例汇总

分享 Manus AI 企业落地案例,包括 AI 自动办公、Research、数据分析、AI 客服与企业级智能体应用解决方案。

2026.05.29

234

15

AI Agent 实战指南:从评测到落地
AI Agent 实战指南:从评测到落地

全面评测 Manus AI 与 ChatGPT、Claude、OpenAI Operator 等 AI Agent 产品,分析自动化能力、工作流与实际生产力差异。

2026.05.29

393

15

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

2026.10.28

40

16

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

2026.10.28

20

15

Vite 项目目录怎么看
Vite 项目目录怎么看

Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。

2026.10.28

0

10

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

2026.10.22

120

11

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

2026.10.22

80

10

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

2026.10.22

60

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Manus AI多模态能力手册
Manus AI多模态能力手册

共0课时 | 0人学习

Manus AI Slides使用手册
Manus AI Slides使用手册

共0课时 | 0人学习

Manus AI Academy系统课程手册
Manus AI Academy系统课程手册

共0课时 | 0人学习