java 日志接入 loki 的标准做法是使用 grafana agent 或 promtail 作为 sidecar 容器,将应用日志文件实时采集并推送到 loki。具体实现时,需在应用侧配置日志输出到标准文件或 stdout,并在同一 pod 中部署采集器,通过匹配标签(如 pod_name、container_name)将日志与 kubernetes 元数据关联,从而实现结构化查询。

如何配置 Java 应用以输出可被采集的日志格式
要使日志能被 Loki 有效处理,Java 应用需使用 JSON 格式输出日志,以便采集器解析字段。推荐使用 Logback 配合 logstash-logback-encoder,设置 layout 为 JsonLayout,确保包含 timestamp、level、message 和 thread_name 等关键信息。这样采集器可以提取这些字段作为 Labels,便于后续在 Grafana 中过滤。

{
"dependencies": {
"ch.qos.logback:logback-classic": "1.4.11",
"net.logstash.logback:logstash-logback-encoder": "7.3"
},
"logback-spring.xml": "<configuration>\n <appender name='\"FILE\"' class='\"ch.qos.logback.core.FileAppender\"'>\n <file>/var/log/app/application.log</file>\n <encoder class='\"net.logstash.logback.encoder.LogstashEncoder\"'></encoder>\n </appender>\n <root level='\"INFO\"'>\n <appender-ref ref='\"FILE\"'></appender-ref>\n </root>\n</configuration>"
}
上述配置将日志写入 /var/log/app/application.log,每条日志为 JSON 对象。例如,一条典型日志如下:{\"timestamp\":\"2023-10-01T12:00:00.000+0000\",\"level\":\"INFO\",\"message\":\"User login successful\",\"thread_name\":\"http-nio-8080-exec-1\"}。此格式确保采集器能正确解析时间戳和级别,用于索引和过滤。
Promtail 如何识别并转发 Java 日志到 Loki
Promtail 通过配置文件定义 scrape_configs,指定日志文件路径和 label 映射规则。它监听 /var/log/app/*.log,使用 regex 提取 JSON 中的字段作为 labels,如 job 设为 java-app,instance 设为 pod IP。然后,Promtail 将日志批量 POST 到 Loki 的 /loki/api/v1/push 端点,使用 Bearer Token 认证。

# promtail-config.yaml
server:
http_listen_port: 9080
clients:
- url: http://loki:3100/loki/api/v1/push
tenant_id: my-tenant
scrape_configs:
- job_name: java-app
static_configs:
- targets:
- localhost
labels:
job: java-app
instance: {{.PodIP}}
pipeline_stages:
- json:
expressions:
level: level
message: message
- labels:
level:
该配置中,pipeline_stages 解析 JSON 日志,提取 level 和 message 字段,并将它们作为 labels 附加到日志流。Promtail 启动后,会持续读取日志文件的新增行,每 5 秒刷新一次,确保低延迟推送。若 Loki 不可用,Promtail 会缓存日志到本地磁盘,避免数据丢失。
当 Java 应用日志中出现异常堆栈时,Loki 如何处理多行日志
Loki 默认按行分割日志,但 Java 异常堆栈是多行的,需配置 Promtail 使用 multiline 阶段合并连续行。在 pipeline_stages 中添加 multiline 规则,匹配以 at 或 Caused by: 开头的行,将其与前一行合并。这样,整个堆栈被视为一个日志条目,保持完整性。
pipeline_stages:
- json:
expressions:
level: level
message: message
- multiline:
firstline: '^\d{4}-\d{2}-\d{2}T'
match: '^(\tat |Caused by:)'
- labels:
level:
此配置中,firstline 匹配 JSON 日志的时间戳开头,match 捕获堆栈行。例如,输入:{\"timestamp\":\"2023-10-01T12:00:00.000+0000\",\"level\":\"ERROR\",\"message\":\"NullPointerException\"}\nat com.app.Service.method(Service.java:42)\nCaused by: java.lang.NullPointerException
Promtail 会将这三行合并为一个日志条目,label 为 level=ERROR,message 包含完整堆栈。这确保在 Grafana 中查看时,异常信息不被截断,便于调试。
Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南











