数据分析专家(专业版)

核心能力

2.1 任务理解框架(完整版)

输入: 用户提供1 任务理解框架(完整版)所需的指令和必要参数。

2.2 大数据流式处理

• 分块读取:chunksize 参数分块加载,避免内存溢出
• 生成器模式:yield 流式产出中间结果
• 内存监控:实时监控内存使用,超阈值自动溢写磁盘
• 数据类型优化:category / int32 等优化内存占用
• Dask/Polars 后端:千万级数据并行计算

处理: 按照skill规范执行2 大数据流式处理操作,遵循单一意图原则。

2.3 多任务编排

• 依赖图定义:显式声明任务间依赖关系
• 并行执行:无依赖任务自动并行
• 检查点恢复:每个任务完成后落盘,失败可断点续跑
• 幂等保证:同任务多次执行结果一致
• 失败策略:单任务失败重试 N 次,仍失败则跳过并告警
• 资源调度:CPU/内存/IO 资源配额管理

输入: 用户提供3 多任务编排所需的指令和必要参数。

2.4 结果缓存与复用

• 输入指纹:基于数据哈希 + 任务参数生成缓存键
• 多级缓存:内存 → 本地磁盘 → 远程缓存(Redis)
• 命中率指标:监控缓存命中率,优化缓存策略
• 失效策略:数据更新或参数变更自动失效
• 手动刷新:支持 force_refresh=True 跳过缓存

处理: 按照skill规范执行4 结果缓存与复用操作,遵循单一意图原则。

2.5 定时任务与自动化分发

• cron 调度:标准 5 段式 cron 表达式
• 数据源自动拉取:任务触发时拉取最新数据
• 报告自动生成:执行 → 渲染 → 输出
• 多渠道分发:邮件 / 企业 IM / Webhook / OSS
• 失败重试:指数退避,最多 3 次
• 审计日志:任务执行历史与结果留痕

2.6 自定义输出模板

• Jinja2 引擎:支持条件、循环、宏定义
• 多格式输出:Markdown / HTML / PDF / PPT
• 品牌化:自定义 Logo、配色、字体
• 模板库:内置 5 套行业模板
• 变量插值:动态嵌入图表、表格、结论卡片

输入: 用户提供6 自定义输出模板所需的指令和必要参数。 处理: 按照skill规范执行6 自定义输出模板操作,遵循单一意图原则。

2.7 企业数据库集成

• PostgreSQL:窗口函数、CTE、JSONB、物化视图
• MySQL:读写分离与连接池
• ClickHouse:OLAP 高速聚合
• 数据湖:Parquet/Arrow/DuckDB
• 凭证安全:统一通过环境变量传入

输入: 用户提供7 企业数据库集成所需的指令和必要参数。 处理: 按照skill规范执行7 企业数据库集成操作,遵循单一意图原则。 输出: 返回7 企业数据库集成的执行结果,包含操作状态和输出数据。

2.8 模板变量高级用法

基础变量: $DATE$ / $USER$ / $WORKDIR$
会话变量: $SESSION_GROUP_ID$
环境变量: ${ENV_VAR_NAME}
模板循环: {% for item in items %}...{% endfor %}
条件渲染: {% if condition %}...{% endif %}
宏定义:   {% macro render_chart(data) %}...{% endmacro %}

处理: 按照skill规范执行8 模板变量高级用法操作,遵循单一意图原则。 输出: 返回8 模板变量高级用法的执行结果,包含操作状态和输出数据。

能力覆盖范围

本skill还覆盖以下能力场景: 全功能委派式分析、支持大数据流式处、结果缓存与企业数、数据分析专家专业、版面向需要把复杂、数据分析任务、Agent、完成的专业用户与、提供完整的多任务、大数据处理与企业、级集成能力、核心能力、涵盖免费版全部能、无文件大小与任务、复杂度限制、基于分块读取与生、级文件、相同输入命中缓存、避免重复计算、多渠道通知。这些能力在上述核心功能中均有对应处理逻辑。

适用场景

3.1 按角色场景矩阵

示例

1. 业务人员委派:"分析上周销售下滑原因"
2. Agent 拆解为子任务:
   - 任务1: 拉取上周销售数据(数据库)
   - 任务2: 计算环比与同比(依赖1)
   - 任务3: 按品类/区域/渠道拆分(依赖2)
   - 任务4: 生成归因报告(依赖3)
3. 并行执行无依赖任务,串行执行有依赖任务
4. 每个任务落盘检查点
5. 失败任务重试 3 次,仍失败则跳过并告警
6. 最终生成 PDF 报告并邮件分发

使用流程

预计上手时间:< 120 秒(企业数据源需配置凭证)。

4.1 大数据分析任务

请分析这份日志数据:
1. 数据源: access_logs.parquet(约 5GB)
2. 时间范围: 2024-12-01 至 2024-12-31
3. 关注: 异常访问模式与高频接口
4. 约束: 流式处理,避免内存溢出
5. 输出: 异常清单 + 频次表 + PDF 报告

4.2 多任务编排

请编排多任务分析:
6. 任务1: 从 PostgreSQL 拉取销售数据(数据库)
7. 任务2: 拉取商品主数据(数据库,与1并行)
8. 任务3: 关联销售与商品(依赖1+2)
9. 任务4: 按品类汇总(依赖3)
10. 任务5: 生成报告(依赖4)
11. 检查点: 每个任务完成后落盘
12. 失败策略: 重试 3 次,仍失败则告警

4.3 定时报告任务

请配置每日监控任务:
13. 数据源: PostgreSQL 销售明细表
14. 频率: 每日 09:00 自动拉取昨日数据
15. 分析: 销售汇总 + Top 10 商品 + 异动归因
16. 模板: 电商行业模板 + 公司品牌
17. 分发: 邮件 + 企业 IM Webhook
18. 缓存: 7 天内相同请求命中缓存

输入格式

输出格式

{
  "success": true,
  "data": {
    result: "相关说明",
    result: "相关说明",
    result: "相关说明",
    "metadata": {
      "template_used": "reviewer",
      "word_count": 0,
      "style": "专业"
    }
  },
  "error": null
}

输出模板参考: assets/output.json

异常处理

依赖说明

运行环境

• Agent平台: 支持SKILL.md的任意AI Agent（Claude Code / Cursor / Codex / Gemini CLI等）
• 操作系统: Windows / macOS / Linux

依赖项

API Key 配置

需要配置对应API Key，详见上文环境配置章节

可用性分类

• 分类: MD+EXEC（）

API Key配置方式:

export API_KEY="your_api_key_here"

配置后需重启会话或开启新终端生效。API Key应妥善保管,避免泄露到版本控制系统。

案例展示

示例1: 基础用法

输入:

{
  "content": "示例数据",
  "content": "示例数据",
  "style": "示例数据"
}

输出:

示例数据

示例2: 进阶用法

输入:

{
  "content": "示例数据",
  "content": "示例数据",
  "style": "示例数据"
}

输出:

示例数据

示例3: 边界情况 - 边界情况

输入:

{
  "content": "示例数据"
}

输出:

示例数据

常见问题

Q1: 专业版支持多大的文件?

A: 流式处理模式支持 GB 级文件,Dask/Polars 后端支持千万级行。增量计算可显著降低重复成本。

依赖说明

A: 在配置文件中用 depends_on 字段声明依赖,Agent 会自动构建依赖图,无依赖任务自动并行执行。

Q3: 结果缓存如何工作?

A: 基于输入数据哈希 + 任务参数生成缓存键。命中缓存直接返回结果,跳过计算。数据或参数变更自动失效。

Q4: 定时任务失败如何处理?

A: 单任务失败自动重试 3 次(指数退避),仍失败则跳过并触发告警。检查点机制保证已成功任务不重算。

Q5: 企业数据库如何接入?

A: 通过环境变量传入 DB_HOST/DB_USER/DB_PASSWORD 等凭证,配置文件引用即可。禁止硬编码。

Q6: 报告模板支持哪些变量?

A: 支持基础变量、环境变量、Jinja2 循环与条件、宏定义等,详见模板文档。

Q7: 多源数据如何联合分析?

A: 通过 duckdb 或 ETL 工具将多源数据归一至 Arrow/Parquet 格式,可使用 SQL 联表查询。

Q8: 是否支持 MCP工具扩展?

A: 专业版支持通过 MCP工具协议接入外部数据源与计算后端,可在 mcp_servers 配置块中注册 MCP server 与 MCP端点,融入 MCP生态共享分析能力。

Q9: 资源如何调度?

A: 支持为每个任务设置 CPU/内存/IO 配额,避免单任务耗尽资源影响其他任务。

Q10: 如何保障数据安全?

A: 凭证统一走环境变量,禁止硬编码;数据库账号最小权限原则;报告可加水印与访问控制;审计日志完整保留。

错误处理

已知限制

-

-

-