关键是从源头输出结构化json日志：在apache中用logformat拼接合法json格式（含@timestamp、client_ip、real_ip等字段），绑定customlog单独落盘，配合mod_remoteip获取真实ip，并通过jq验证json合法性，避免logstash硬解析。
要让 Apache 日志直接适配 ELK（Elasticsearch、Logstash、Kibana）分析，关键不是靠 Logstash 去“硬解析”原始日志，而是从源头输出结构化、字段明确、易提取的格式——最推荐的是 JSON 格式，它天然兼容 Elasticsearch 的文档模型，能大幅降低 Logstash 的 grok 解析压力，提升吞吐和稳定性。
用 LogFormat 输出标准 JSON 日志
Apache 本身不原生支持 JSON，但可通过 LogFormat 拼接字符串模拟合法 JSON。核心原则是：字段名用双引号包裹、值做基础转义、时间戳统一时区与格式、避免嵌套或非法字符。
- 在
/etc/httpd/conf/httpd.conf（CentOS/RHEL）或/etc/apache2/apache2.conf（Debian/Ubuntu）中添加：
LogFormat "{\"@timestamp\":\"%{%Y-%m-%dT%H:%M:%S%z}t\",\"client_ip\":\"%{X-Forwarded-For}i\",\"real_ip\":\"%a\",\"host\":\"%{Host}i\",\"method\":\"%m\",\"url\":\"%U%q\",\"status\":%>s,\"bytes_sent\":%B,\"referer\":\"%{Referer}i\",\"user_agent\":\"%{User-Agent}i\",\"request_time_sec\":%D}" elk_json
-
%a是 Apache 实际接收请求的 IP（含负载均衡器），%{X-Forwarded-For}i是真实客户端 IP（需确保上游已设置该头）； -
%D是微秒级请求处理时间，除以 1000000 可得秒数，Logstash 或 Ingest Pipeline 中可进一步转换； -
elk_json是该格式的自定义名称，后续CustomLog引用它。
配合 CustomLog 启用并落盘
定义完格式后，必须绑定到具体日志文件。建议为 ELK 单独创建日志路径，避免和默认日志混用：
Apache Superset 是一个广泛采用的开源 BI 平台，用于 SQL 探索、图表构建和仪表板交付。当代理需要查询仓库数据、组装仪表板或使用成熟的分析界面解释指标而不是临时笔记本代码时，此技能非常有用。
- 添加如下行（路径按系统调整）：
CustomLog "/var/log/httpd/elk_access.log" elk_json
- 如需同时收集错误日志，注意：
ErrorLog不支持LogFormat，只能用默认格式或借助mod_log_forensic等模块增强；ELK 场景下通常单独用 Filebeat 抓取error.log并打上log_type: apache_error标签； - 若使用虚拟主机，把
CustomLog放在<virtualhost></virtualhost>块内，可实现按域名分日志。
确保字段语义准确（尤其在代理/负载均衡环境）
直接记录 %h 在集群中会全是 LB IP，失去追踪价值。务必显式引入真实客户端标识：
- 确认前端反向代理（如 Nginx、HAProxy）已设置
X-Forwarded-For和X-Request-ID头； - 在 Apache 配置中加载
mod_remoteip模块，并配置RemoteIPHeader X-Forwarded-For，这样%a就能自动替换为真实 IP； - 如需请求链路追踪，扩展 JSON 格式加入：
\"trace_id\":\"%{X-Request-ID}i\"，方便在 Kibana 中关联上下游服务。
验证与部署要点
改完配置不能直接上线，必须验证格式是否合法、字段是否可预期：
- 执行
sudo apachectl configtest（RHEL/CentOS）或sudo apache2ctl configtest（Debian/Ubuntu），确保无语法错误； - 重启服务：
sudo systemctl restart httpd或sudo systemctl restart apache2； - 手动触发一次请求（如
curl -H "X-Forwarded-For: 203.0.113.42" http://your-site/），然后检查elk_access.log是否生成了格式正确的单行 JSON； - 用
jq -R 'fromjson?' elk_access.log | head -n1快速校验 JSON 合法性（需安装 jq）。
