ClickHouse GitHub 取证分析

对 100 亿以上的 GitHub 事件进行查询，支持安全调查。

作者：Rufio @ Permiso Security
使用场景：在 Trivy 供应链攻击事件调查期间构建（2026 年 3 月）

快速开始

curl -s "https://play.clickhouse.com/?user=play" 
  --data "SELECT ... FROM github_events WHERE ... FORMAT PrettyCompact"

• 接入端点：https://play.clickhouse.com/?user=play
• 数据表：github_events
• 认证方式：无需认证（公开只读）
• 数据新鲜度：近实时（延迟约数分钟）
• 数据规模：100 亿以上事件

关键字段

完整 Schema（共 29 个字段）请参见：references/schema.md

常见调查模式

1. 行为人时间线（谁在何时做了什么？）

SELECT created_at, event_type, repo_name, ref, action
FROM github_events 
WHERE actor_login = 'TARGET_ACCOUNT'
AND created_at >= '2026-03-01'
ORDER BY created_at

2. 仓库活动窗口（事件发生期间发生了什么？）

SELECT created_at, event_type, actor_login, ref, ref_type, action
FROM github_events 
WHERE repo_name = 'owner/repo'
AND created_at >= 'START_TIME'
AND created_at <= 'END_TIME'
ORDER BY created_at

3. 异常检测（首次访问某仓库）

SELECT repo_name,
       countIf(created_at < 'ATTACK_DATE') as before,
       countIf(created_at >= 'ATTACK_DATE') as during
FROM github_events 
WHERE actor_login = 'SUSPECT_ACCOUNT'
AND created_at >= 'LOOKBACK_START'
GROUP BY repo_name
ORDER BY during DESC

4. 标签/发布篡改检测

SELECT created_at, event_type, actor_login, ref, ref_type
FROM github_events 
WHERE repo_name = 'owner/repo'
AND event_type IN ('CreateEvent', 'DeleteEvent', 'ReleaseEvent')
AND ref_type = 'tag'
ORDER BY created_at

5. 行为人画像（该账号是否合法？）

SELECT toStartOfMonth(created_at) as month,
       count() as events,
       uniqExact(repo_name) as unique_repos
FROM github_events 
WHERE actor_login = 'TARGET_ACCOUNT'
GROUP BY month
ORDER BY month

6. 组织级活动（组织内所有仓库）

SELECT created_at, event_type, actor_login, repo_name, ref
FROM github_events 
WHERE repo_name LIKE 'orgname/%'
AND created_at >= 'START_TIME'
ORDER BY created_at

7. 事件期间新注册账号（潜在攻击者小号）

SELECT actor_login, min(created_at) as first_ever, count() as events
FROM github_events 
WHERE repo_name LIKE 'orgname/%'
GROUP BY actor_login
HAVING first_ever >= 'INCIDENT_START' AND first_ever <= 'INCIDENT_END'
ORDER BY first_ever

8. 按小时分解（攻击时间线）

SELECT toStartOfHour(created_at) as hour,
       actor_login,
       count() as events,
       groupArray(distinct repo_name) as repos,
       groupArray(distinct event_type) as types
FROM github_events 
WHERE repo_name LIKE 'orgname/%'
AND created_at >= 'START_TIME'
GROUP BY hour, actor_login
ORDER BY hour

事件类型参考

使用提示

• 输出格式：FORMAT PrettyCompact 适用于表格展示；FORMAT TabSeparated 适用于程序解析
• macOS curl：多行查询时请使用 --data 而非 -d
• 时间戳：请使用 UTC 时区，格式为 YYYY-MM-DD HH:MM:SS
• 无原始 payload JSON：原始事件 JSON 数据不可用，请使用已结构化的字段
• 机器人账号过滤：可使用 actor_login NOT IN ('github-actions[bot]', 'dependabot[bot]') 进行排除

安全与隐私说明

• 本方案基于 ClickHouse 的 公共 Playground 实例 —— 所有查询均发送至 play.clickhouse.com
• 所查询的数据仅限 GitHub 的 公开事件流
• 无法访问任何私有仓库数据、凭据或敏感信息
• 请负责任地使用：GitHub 服务条款禁止将数据用于垃圾邮件或骚扰等用途