Manus怎样自动抓取并清洗科技新闻【实操】

酷强小哥_3868

酷强小哥_3868

2026-06-30

968人浏览

原创

manus可自动抓取36氪、techcrunch等科技媒体ai板块新闻并清洗噪声,需v2.8.0+版本、mfa认证、启用browser_use与html_cleaner,配置精准css选择器及清洗规则后执行scrape_and_clean任务,输出结构化纯文本。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

manus怎样自动抓取并清洗科技新闻【实操】

你需要让Manus自动从科技媒体网页抓取新闻标题、发布时间、摘要和正文核心段落,并剔除广告、推荐位、评论区等噪声内容,生成干净可直接用于写作或分析的纯文本——比如每日同步36氪、TechCrunch、The Verge三站AI板块更新,跳过人工筛选与格式整理。

确认环境与权限配置

打开终端,执行manus --version,确保输出版本号 ≥ v2.8.0;旧版本无法调用html_cleanertext_normalizer双清洗模块。

运行manus auth status检查登录状态;若未认证,必须先执行manus auth login并完成邮箱+MFA双重验证——【未通过MFA将导致cleaning阶段静默失败,无错误提示】

编辑~/.manus/config.yaml,确认以下两行已启用:
browser_use: true
html_cleaner: true

配置新闻源与清洗规则

新建文件tech_news_config.yaml,写入:

sources:
- url: "https://36kr.com/ai"
selector: "div.article-item"
title: "a.article-title"
time: "span.article-time"
summary: "p.article-desc"
body: "div.article-content"
- url: "https://techcrunch.com/tag/ai/"
selector: "article.post-block"
title: "header h2 a"
time: "time[datetime]"
summary: "div.excerpt p"
body: "div.article-content"
cleaning_rules:
remove_selectors: ["div.ad-banner", "section.comments", "aside.recommend"]
normalize_whitespace: true
strip_html_tags: false
truncate_body: 800

注意:每个selector必须能精准包裹单条新闻容器,否则会跨条目混提;TechCrunch时间字段若提取为空,需改用time[datetime]::attr(datetime)语法获取ISO格式时间戳。

Manus(IOSapp)
Manus(IOSapp)

这款全能AI助手融合了深度推理、多模态对话与图像生成等前沿技术,全面赋能职场、学习与生活。它支持多模态搜索,精准响应各类信息需求;内置AI文档助手,快速提炼要点并生成思维导图;更有智能创作功能,一键生成报告与文案。强大的AI能力助你高效处理复杂任务,让工作与生活更轻松便捷。

下载

启动抓取与清洗流程

第一步:进入tech_news_config.yaml所在目录。

第二步:执行命令manus run --config tech_news_config.yaml --task "scrape_and_clean"

第三步:等待终端输出[SUCCESS] Cleaned 12 articles → ./cleaned/tech_news_2026-06-29.md

这一步会触发完整PEV闭环:Planning层解析YAML中多源结构→Execution层并行加载3个URL、注入data_extractor提取字段、调用html_cleaner移除广告区块→Verification层校验每条新闻的title+body非空→最终由text_normalizer统一缩进、去重空行、截断超长正文。

验证清洗结果质量

打开生成的./cleaned/tech_news_2026-06-29.md,检查前三条新闻是否满足:
• 每条以## [标题]开头,后接**发布时间:** 2026-06-29 14:22
• 正文首段为摘要,紧随其后是截断后的核心正文(≤800字符)
• 全文无广告文案、无“点击查看更多”按钮残留、无评论区HTML标签

若发现某条新闻正文含乱码,说明目标页面使用了动态字体渲染,需在config中为该源额外添加wait_for: ".article-content"字段,强制等待内容节点完全加载。

相关专题

更多
Manus AI使用指南大全
Manus AI使用指南大全

汇总 Manus AI 使用教程与实战案例,包含 Agent 自动化、AI 工作流、网页开发、Research 使用技巧以及新手快速入门指南。

2026.05.29

514

22

Manus AI案例汇总
Manus AI案例汇总

分享 Manus AI 企业落地案例,包括 AI 自动办公、Research、数据分析、AI 客服与企业级智能体应用解决方案。

2026.05.29

214

15

AI Agent 实战指南:从评测到落地
AI Agent 实战指南:从评测到落地

全面评测 Manus AI 与 ChatGPT、Claude、OpenAI Operator 等 AI Agent 产品,分析自动化能力、工作流与实际生产力差异。

2026.05.29

313

15

AI视频生成软件推荐
AI视频生成软件推荐

本专题汇总了当前主流的AI视频生成软件推荐与排行榜单,涵盖seko、AniShort、剧云、Lovart、LiblibAI及立刻mv等热门工具。同时整理了各软件在文生视频、图生视频、时长限制、画质表现及免费额度等方面的差异对比,助您快速选对适合创作需求的AI视频生成工具。

2026.09.16

140

9

ai生成视频的工具免费版合集
ai生成视频的工具免费版合集

本专题汇总了当前免费AI生成视频工具的排行榜与推荐清单,涵盖seko、讯飞智作、AniShort及剧云、Lovart等多模型集成平台。同时整理了各工具的免费额度、输出时长、水印政策及适用场景差异,助您快速选择合适工具开启AI视频创作。

2026.09.16

60

10

Pandas时间序列分析与可视化报表
Pandas时间序列分析与可视化报表

本专题整理Pandas日期转换、时间索引、重采样、滚动窗口、时区处理、plot绘图、Styler表格样式和报表输出方法。

2026.09.16

60

23

Pandas数据筛选索引与清洗处理
Pandas数据筛选索引与清洗处理

本专题整理Pandas中的loc、iloc、条件筛选、query查询、缺失值处理、重复值删除、类型转换和字符串列清洗方法。

2026.09.16

40

25

Pandas数据读取导入与文件导出处理
Pandas数据读取导入与文件导出处理

本专题整理Pandas读取CSV、Excel、JSON、SQL、Parquet等文件的方法,以及to_csv、to_excel、to_sql和to_parquet等常用数据导出流程。

2026.09.16

40

27

GDB怎么设置断点
GDB怎么设置断点

本专题介绍GDB按照函数名、源代码行号和文件位置设置断点的方法,详细说明run、continue、next、step等命令的配合使用,帮助定位程序崩溃、逻辑异常及代码未按预期执行的问题。

2026.09.11

360

28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Manus AI多模态能力手册
Manus AI多模态能力手册

共0课时 | 0人学习

Manus AI Slides使用手册
Manus AI Slides使用手册

共0课时 | 0人学习

Manus AI Academy系统课程手册
Manus AI Academy系统课程手册

共0课时 | 0人学习