容器日志脱敏需在进入长期存储前动态处理，优先选择采集侧（agent端）脱敏以保障安全，其次为日志网关层、存储层；按字段类型差异化掩码，如手机号保留前后位、密码全替换，并通过正则与json解析精准匹配验证效果。
容器日志脱敏不是简单地“删掉敏感词”，而是要在保留日志可读性、可追溯性的前提下，精准识别并处理身份证号、手机号、邮箱、密码、token 等敏感字段。核心思路是：**在日志进入长期存储前完成动态脱敏，且不破坏结构和时间上下文。**
选对脱敏时机：采集链路中哪一层做最合理？
脱敏位置直接影响安全性和运维效率。推荐优先级如下：
- 采集侧（Agent端）脱敏：最安全，明文不出宿主机。适合高合规要求场景（如金融、医疗）。Fluent Bit/Fluentd 的 filter 插件支持正则匹配+Ruby/Go 表达式实时替换。
- 写入前（日志网关层）脱敏：集中治理，便于策略统一。例如用 Logstash 的 mutate + gsub，或 Loki 的 Promtail pipeline stages。
- 入库后（存储层）加工脱敏：适合存量日志补救或需保留原始副本的场景。SLS、Elasticsearch 的 ingest pipeline 或数据加工任务可实现二次处理。
用对脱敏方式：按字段类型和用途选策略
不是所有敏感字段都该“打星号”。要区分使用目的：
- 手机号、身份证号、银行卡号：用内置规则 mask，保留前3位+后4位（如 138****1234），兼顾排障核对与隐私保护。
- 密码、API Key、Token：直接替换为固定占位符（如 [REDACTED]），禁止任何可逆操作。
-
邮箱、地址、姓名：按字段名匹配（如 key 包含
email或address），统一掩码为 [EMAIL_HIDDEN]。 -
嵌套 JSON 中的敏感字段：先用 JSON 解析器展开，再对指定路径字段脱敏（例如
$.user.phone），避免正则误伤。
配好脱敏规则：Fluentd 示例配置直接可用
以下是在 Fluentd 中对容器日志做实时脱敏的典型配置片段，适配 Docker json-file 驱动输出：
<filter docker.>
@type record_transformer
enable_ruby true
<record>
message ${record["log"].gsub(/1[3-9]\d{9}/, '1XXXXXXXXXX')
.gsub(/\d{17}[\dXx]/, 'XXXXXXXXXXXXXXXXX')
.gsub(/[\w.-]+@[\w.-]+\.\w+/,'[EMAIL_HIDDEN]')
.gsub(/"password"\s*:\s*"[^"]*"/, '"password":"[REDACTED]"')}
</record></filter>
注意：log 字段是外层 JSON 的原始日志内容，需先提取再处理；若内层还有 JSON（如应用输出的 structured log），建议配合 @type parser 先解析再脱敏，避免正则穿透失败。
验证脱敏效果：三步确认不漏不误
上线后必须验证是否真正生效：
- 查一条含手机号的日志，确认显示为 1XXXXXXXXXX 而非原值；
- 搜索
"password"字段，确认所有匹配项都被替换，且不影响其他字段（如"password_hint"不被误杀）； - 用 Kibana 或 Loki 查询脱敏前后日志数量是否一致，避免因正则异常导致整条日志丢失。
