蒲公英数据开发工程师Skill套件——专为数据开发工程师打造的全链路AI Skill生态系统,涵盖需求分析、架构设计、数据建模、SQL开发、ETL Pipeline、数据质量、数据测试7大核心模块,适用于端到端数据开发、数据仓库建设、ETL与SQL优化、数据质量管理。触发词:数据开发
🌼 蒲公英数据开发工程师Skill套件是一项面向实际任务的技能,主要用于专为数据开发工程师设计的完整AI Skill生态系统,包含7个核心模块,支持端到端数据开发工作流;🎯 核心价值;
企业级标准 :遵循数据工程最佳实践和行业标准;📦 模块概览;需求分析助。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
专为数据开发工程师设计的完整AI Skill生态系统,包含7个核心模块,支持端到端数据开发工作流。
| 模块 | 入口命令 | 核心功能 | 适用场景 |
|---|---|---|---|
| 需求分析助手 | /requirement-analyst |
业务需求分析、功能规格定义 | 项目启动、需求澄清 |
| 架构设计助手 | /architecture-designer |
数据架构设计、技术选型 | 系统设计、架构评审 |
| 数据建模助手 | /modeling-assistant |
维度建模、dbt开发、血缘分析 | 数仓建设、模型设计 |
| SQL智能开发助手 | /sql-assistant |
SQL生成、审查、执行计划分析 | 查询开发、性能优化 |
| ETL Pipeline开发助手 | /etl-assistant |
ETL代码生成、审查、测试 | 数据管道开发 |
| 数据质量检查助手 | /dq-assistant |
质量规则生成、检查、文档 | 数据质量管理 |
| 测试工程师 | /test-engineer |
单元测试、集成测试、性能测试 | 数据测试保障 |
# 完整数仓建设工作流 /skill-hub 端到端建设电商数仓 # 快速Pipeline开发 /sql-assistant → /etl-assistant 生成订单数据同步Pipeline # 质量到测试 /dq-assistant → /test-engineer 基于质量规则生成测试用例
# 需求分析 /requirement-analyst 分析电商用户行为分析需求 # SQL开发 /sql-assistant 生成用户活跃度分析SQL # ETL开发 /etl-assistant 创建用户行为数据ETL Pipeline
| 需求场景 | 推荐工作流 | 命令示例 |
|---|---|---|
| 从零建设数仓 | 端到端工作流 | /skill-hub 端到端建设电商数仓 |
| 需求澄清 | 需求分析 | /requirement-analyst 分析需求 |
| 架构选型 | 需求到架构 | /requirement-analyst → /architecture-designer |
| 数据建模 | 架构到建模 | /architecture-designer → /modeling-assistant |
| 生成SQL | 建模到SQL | /modeling-assistant → /sql-assistant |
| 开发Pipeline | SQL到ETL | /sql-assistant → /etl-assistant |
| 质量监控 | ETL到质量 | /etl-assistant → /dq-assistant |
| 生成测试 | 质量到测试 | /dq-assistant → /test-engineer |
| 部署上线 | 测试驱动部署 | /test-engineer 验证并部署 |
| 快速建模开发 | 建模到开发 | /modeling-assistant → /sql-assistant → /etl-assistant |
requirement_package.yaml
↓(业务需求、实体定义)
architecture_package.yaml
↓(分层架构、技术栈)
modeling_package.yaml
↓(事实表、维度表)
sql_package.yaml
↓(DDL、转换SQL)
etl_package.yaml
↓(Pipeline代码)
dq_package.yaml
↓(质量规则)
test_package.yaml
↓(测试通过)
部署上线
| 联动 | 命令 | 输出 |
|---|---|---|
| 需求→架构 | /architecture-designer --from-requirement |
architecture_package.yaml |
| 架构→建模 | /model-design --from-architecture |
modeling_package.yaml |
| 建模→SQL | /sql-gen --from-model |
sql_package.yaml |
| 建模→ETL | /etl-template --from-model |
etl_package.yaml |
| SQL→ETL | /etl-template --from-sql |
etl_package.yaml |
| ETL→质量 | /dq-rule-gen --from-etl |
dq_package.yaml |
| 质量→测试 | /unit-test --from-dq |
test_package.yaml |
本Skill套件包含智能联动中枢,支持模块间自动数据流转:
需求分析 → 架构设计 → 数据建模 → SQL开发 → ETL开发 → 质量检查 → 数据测试
查看详细联动关系:
# 查看Skill依赖关系 cat skill-connections.yaml # 查看完整工作流定义 cat skill-hub.md
pugongying-data-skills/ ├── SKILL.md # 本文件(主Skill定义) ├── README.md # 详细文档 ├── skill-connections.yaml # Skill联动配置 ├── skill-hub.md # 联动中枢文档 ├── requirement-analyst/ # 需求分析模块 ├── architecture-designer/ # 架构设计模块 ├── modeling-assistant/ # 数据建模模块 ├── sql-assistant/ # SQL开发模块 ├── etl-assistant/ # ETL开发模块 ├── dq-assistant/ # 数据质量模块 └── test-engineer/ # 数据测试模块
每个模块输出标准化的YAML包文件,便于模块间数据交换:
| 包文件 | 生成者 | 主要用途 |
|---|---|---|
requirement_package.yaml |
requirement-analyst | 业务需求、数据实体、指标定义 |
architecture_package.yaml |
architecture-designer | 架构决策、分层设计、技术栈 |
modeling_package.yaml |
modeling-assistant | 事实表、维度表、SCD策略 |
sql_package.yaml |
sql-assistant | SQL代码、表结构、优化建议 |
etl_package.yaml |
etl-assistant | Pipeline代码、DAG配置、调度策略 |
dq_package.yaml |
dq-assistant | 质量规则、检查结果、数据字典 |
test_package.yaml |
test-engineer | 测试用例、测试报告、部署决策 |
标准包格式:
{package_name}:
version: "1.0"
metadata:
generated_by: "skill-name"
generated_at: "2024-01-15T10:00:00Z"
upstream_package: "上游包文件名"
content: { ... }
downstream_specs:
- target: "下游skill"
input_file: "{package_name}.yaml"
| 文档 | 内容 | 场景 |
|---|---|---|
README.md |
详细功能说明和使用指南 | 了解套件全貌 |
skill-connections.yaml |
Skill联动配置 | 查看模块间关系 |
skill-hub.md |
联动中枢文档 | 了解工作流定义 |
skill-template.md |
Skill开发模板 | 开发新Skill |
Skill驱动数据系统开发探讨.md |
设计理念和技术探讨 | 深入理解设计思想 |
| 模块 | 参考文档 | 示例 |
|---|---|---|
| requirement-analyst | references/requirement-standards.md |
examples/ |
| architecture-designer | references/architecture-standards.md |
examples/ |
| modeling-assistant | references/data-modeling-standards.md |
examples/ |
| sql-assistant | references/sql-standards.md |
examples/ |
| etl-assistant | references/etl-standards.md |
examples/ |
| dq-assistant | references/data-quality-standards.md |
examples/ |
| test-engineer | references/test-standards.md |
examples/ |
查看各模块内的CHANGELOG.md文件获取详细更新记录。
Skill未触发
模块联动失败
skill-connections.yaml配置性能问题
蒲公英数据开发工程师Skill套件 - 让数据开发更智能、更高效、更可靠。
🌼 像蒲公英种子一样,将数据开发的最佳实践传播到每一个项目
相关专题
热门下载
相关下载
精品课程
共6课时 | 54.7万人学习
共89课时 | 134.1万人学习
共49课时 | 82.6万人学习
最新文章