ETL

抽取-转换-加载（Extract-Transform-Load）数据工具包（v2.0.0）。记录并管理贯穿完整 ETL 生命周期的数据管道活动——包括数据摄入（ingest）、转换（transform）、查询（query）、过滤（filter）、聚合（aggregate）、可视化（visualize）、导出（export）、采样（sample）、模式定义（schema definition）、验证（validation）、管道编排（pipeline orchestration）以及数据画像（data profiling）。每条命令均将其操作记录到独立的日志文件中，并附带时间戳，为您提供结构化的全部数据操作记录。

命令

数据存储

所有数据均以纯文本日志文件形式存储于 ~/.local/share/etl/ 目录下：

• 按命令分离的日志 —— 每个命令（如 ingest、transform、query 等）各自写入独立的 .log 文件（例如：ingest.log、transform.log）。
• 历史日志 —— 每次操作还会以带时间戳和命令名的形式追加至 history.log 中。
• 导出文件 —— 生成于同一目录下，文件名为 export.json、export.csv 或 export.txt。

日志条目采用 timestamp|value 格式存储，便于使用 grep 检索、解析或通过管道传递给下游工具处理。

运行要求

• Bash 4.0+（使用 set -euo pipefail）
• coreutils —— 包含 date、wc、du、head、tail、grep、basename、cut
• 无需任何外部依赖、API 密钥或网络访问
• 可在任意兼容 POSIX 的系统上完全离线运行

适用场景

1. 记录数据管道各阶段操作 —— 为 ETL 流程的每个环节（ingest → transform → validate → export）打上时间戳并记录，构建完整的数据流转审计轨迹。
2. 模式管理与验证 —— 使用 schema 命令记录表结构；使用 validate 命令记录数据质量规则及其通过/失败结果。
3. 数据画像与探索分析 —— 使用 profile 记录字段统计信息、空值率及分布异常；使用 sample 记录采样参数，确保可复现性。
4. 管道编排过程追踪 —— 使用 pipeline 记录多步骤工作流配置、执行顺序，以及各 ETL 阶段间的依赖关系。
5. 跨团队数据操作审查 —— 运行 stats 获取汇总计数，用 search 按关键词定位特定操作，或执行 export json 将管道日志共享给团队成员，或导入仪表板进行分析。

示例

# 记录一次来自 S3 的数据摄入
etl ingest "s3://data-lake/raw/users_2024.csv — 1.2M rows, CSV format"

# 记录一个转换步骤
etl transform "Normalize email to lowercase, cast created_at to UTC timestamp"

# 记录一条验证规则
etl validate "NOT NULL check on user_id: 0 violations out of 1,200,000 rows"

# 记录一张新表的模式
etl schema "users_dim: id INT PK, email VARCHAR(255), created_at TIMESTAMP, country CHAR(2)"

# 定义一个管道
etl pipeline "daily_user_load: ingest(s3) -> dedupe -> validate -> load(postgres)"

# 搜索所有与 'users' 相关的内容
etl search users

# 将全部 ETL 日志导出为 CSV 用于分析
etl export csv

# 查看汇总统计信息
etl stats

# 检查系统健康状态
etl status

使用提示

• 任意数据命令不带参数运行，即可查看最近的记录（例如：etl ingest 显示最近 20 条摄入记录）。
• 使用 etl recent 快速概览所有类别下的全部活动记录。
• 结合 cron 实现管道运行自动日志记录：0 2 * * * etl pipeline "nightly_load completed at $(date)"
• 通过复制 ~/.local/share/etl/ 到指定备份位置，完成数据备份。

由 BytesAgain 提供支持 | bytesagain.com | hello@bytesagain.com