财经数据抓取Skill：每日抓取财经新闻（Chrome插件、无头浏览器），大盘、热门板块、涨停个股数据；自动清理Chrome标签页防内存溢出；含入库表配置、定时任务、去重规则。
财经数据抓取Skill（完整版）
功能概述
财经数据抓取Skill（完整版）是一项面向实际任务的技能，主要用于完整的财经数据抓取解决方案，包含多种抓取方式、入库配置、定时任务、内存清理等功能！🚨 前置条件（必须满足！
核心要点
- OpenClaw浏览器扩展已安装并连接 （用于Chrome插件抓取）；
- NocoDB配置已提供 （BASE_URL、TOKEN、各表ID）；
- sshpass已安装 （如果需要上传文件到服务器，可选）；
使用与执行
Python 3.7+已安装；📋 抓取任务总览。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。
结果检查与注意事项
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；涉及批量任务时，还应保存进度，避免中断后重复操作。
财经数据抓取Skill（完整版）
完整的财经数据抓取解决方案，包含多种抓取方式、入库配置、定时任务、内存清理等功能！
🚨 前置条件（必须满足！）
- OpenClaw浏览器扩展已安装并连接（用于Chrome插件抓取）
- NocoDB配置已提供（BASE_URL、TOKEN、各表ID）
- sshpass已安装（如果需要上传文件到服务器，可选）
- Python 3.7+已安装
📋 抓取任务总览
| 任务编号 | 任务名称 | 抓取内容 | 入库表ID | 建议定时配置 | 抓取方式 |
|---|---|---|---|---|---|
| 1 | 每日财经新闻（Chrome插件） | 东方财富财经导读、财联社等新闻 | 需用户提供（示例：m2w****33m） |
30 9,12,15,18 * * *（每天4次） |
Chrome浏览器插件（OpenClaw browser API） |
| 2 | 每日财经新闻（无头浏览器） | 东方财富财经导读等新闻 | 需用户提供 | 0 9,12,15,18 * * *（每天4次） |
无头浏览器（Playwright/Puppeteer） |
| 3 | 每日大盘数据 | 每日大盘指数数据 | 需用户提供（示例：mhmt****ibzo） |
0 15:05 * * *（每日收盘后） |
东方财富数据接口 |
| 4 | 每日热门板块数据 | 每日一级行业板块涨幅TOP3 | 需用户提供（示例：mcit****je27） |
10 15 * * *（每日15:10） |
东方财富数据接口 |
| 5 | 每日涨停个股数据 | 每日涨停个股（代码/名称/涨幅/成交额/封单/连板数/行业等） | 需用户提供（示例：mq8****ct7） |
05 15 * * *（每日15:05） |
东方财富数据接口 |
| 6 | Chrome浏览器Tab清理 | 保留1个东方财富tab，关闭其他所有tab | 无 | 20,50 * * * *（每小时20分和50分） |
scripts/cleanup_tabs.py |
🔧 NocoDB统一配置（必须提供！）
| 配置项 | 说明 | 示例值 |
|---|---|---|
BASE_URL |
NocoDB API基础URL | https://nocodb.*****.com/api/v2 |
TOKEN |
NocoDB API Token | 需用户提供 |
TABLE_ID_NEWS |
财经新闻入库表ID | 需用户提供 |
TABLE_ID_MARKET |
每日大盘数据入库表ID | 需用户提供 |
TABLE_ID_PLATES |
每日热门板块数据入库表ID | 需用户提供 |
TABLE_ID_LIMIT_UP |
每日涨停个股数据入库表ID | 需用户提供 |
📁 使用前准备
步骤1：确认前置条件已满足
- OpenClaw浏览器扩展已安装并连接
- NocoDB配置信息已准备好
步骤2：配置NocoDB
复制 config-examples/nocodb-config.example.json 为 nocodb-config.json，填入你的配置：
cp config-examples/nocodb-config.example.json nocodb-config.json
步骤3：配置定时任务
参考 config-examples/cron-configs/ 目录下的示例配置，创建你的定时任务配置文件！
🔨 脚本使用说明
1. Chrome浏览器Tab清理脚本
路径：scripts/cleanup_tabs.py
功能：防止浏览器tab过多造成内存溢出
策略：
- 保留1个东方财富标签页（必须有至少1个）
- 关闭其他所有多余的东方财富标签页
- 关闭所有非东方财富标签页 使用：
python scripts/cleanup_tabs.py
2. NocoDB导入脚本
路径：scripts/import_to_nocodb.py
功能：批量导入财经新闻到NocoDB
去重规则：按 source + content 组合去重
使用：
# 使用最新的JSON文件 python scripts/import_to_nocodb.py # 指定文件 python scripts/import_to_nocodb.py /path/to/data.json
📚 参考文档
config-examples/：配置示例（NocoDB配置、Cron配置）references/：抓取规范文档（待补充）
⚠️ 注意事项
- 定时任务配置：请根据你的实际情况调整定时时间（考虑交易时间）
- 内存管理：务必配置Chrome浏览器Tab清理任务，防止内存溢出
- 去重规则：财经新闻按
source+content组合去重 - 板块数据规则：仅保留一级行业，排除地域板块、细分行业和概念板块
相关专题
本专题从实际API接口调试场景出发，讲解Postman身份认证的完整配置流程，包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查，帮助用户正确完成接口授权与访问验证。
2026.11.06
0
12
围绕Postman HTTP请求头配置展开，讲解Headers选项的具体使用方式，包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法，帮助用户解决接口调试过程中遇到的请求头配置问题。
2026.11.06
0
13
详细介绍Postman接口请求的创建与发送方法，涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看，帮助用户掌握Postman接口请求的完整操作流程。
2026.11.06
0
10
DBeaver数据导入专题，整理Excel、CSV、SQL、TXT等常见文件的数据导入方法，涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作，帮助用户将本地文件中的数据写入数据库，并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。
2026.11.05
0
12
DBeaver安全防护专题，围绕数据库连接安全、账号密码保护和访问权限管理展开，整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法，同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项，帮助用户提高数据库日常管理的安全性。
2026.11.05
0
12
本专题聚焦DBeaver数据库连接配置与管理，覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库，整理相应的连接设置方法，并提供驱动缺失、认证失败和连接异常等问题的排查方向。
2026.11.04
0
16
本专题围绕XORM框架的结构体映射展开，说明表名与字段的命名策略、xorm标签常用属性、主键自增与时间字段自动填充，并演示Sync2自动建表、增量字段升级、索引声明与反向生成结构体的完整流程。
2026.11.04
0
15
本专题聚焦XORM框架的配置与连接环节，拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择，讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式，并补充容器与兼容数据库的适配经验。
2026.11.04
0
15
本专题聚焦XORM框架的配置与连接环节，拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择，讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式，并补充容器与兼容数据库的适配经验。
2026.11.04
0
16
热门下载
相关下载
精品课程
共6课时 | 54.7万人学习
共89课时 | 134.1万人学习
共49课时 | 82.6万人学习
最新文章