怎么在Linux利用Rsyslog的Omprog模块对接第三方监控组件实现日志实时转图形-linux运维-PHP中文网

可行，但需规避omprog高开销与可靠性短板：应通过omprog预处理日志为JSON写入本地FIFO，再由常驻进程批量转发至Loki等后端实现可靠低延迟投递。

怎么在linux利用rsyslog的omprog模块对接第三方监控组件实现日志实时转图形

直接用 Rsyslog 的 omprog 模块把日志实时推给第三方监控组件（比如 Prometheus、Grafana Loki、Elasticsearch 或自研 API），再由它们做图形化展示，是可行的，但关键不在于“转图形”，而在于“可靠、低延迟、可追踪地把结构化日志送过去”。Rsyslog 本身不画图，它只负责稳准快地转发。

明确 omprog 的定位和限制

omprog 是 Rsyslog 的输出模块，作用是：每条匹配的日志，启动一个外部程序（如 Python/Shell 脚本），把日志内容通过 stdin 传进去。它适合轻量、单条处理场景，不适合高吞吐或需要连接复用的场景（比如直连 Prometheus Pushgateway 或 Loki 的 HTTP 批量写入）。

每条日志触发一次进程 fork，高频日志下开销大，可能成为瓶颈
不内置重试、背压、队列缓冲机制，出错容易丢日志
脚本必须快速退出，否则阻塞后续日志；不能长期驻留（那是 omhttp 或 omelasticsearch 的事）

推荐架构：omprog 做“轻量预处理 + 可靠投递”

别让 omprog 直连监控后端，而是让它把日志转成标准格式（如 JSON Line），写入本地可靠队列（如 systemd-journal、named pipe、或轻量消息队列），再由另一个常驻进程消费并转发到目标监控系统。

示例：用 omprog 调用一个 Python 脚本，把 $msg、$syslogseverity-text、$fromhost-ip 等字段组装成 JSON，写入 /run/rsyslog-to-loki.fifo
另起一个 loki-client 进程（如 Promtail、或自写脚本），监听该 FIFO，批量打包、添加 labels、通过 HTTP POST 推到 Grafana Loki
这样既利用了 omprog 的灵活性（字段提取、过滤、格式转换），又规避了它的可靠性短板

实际配置要点（以推送 JSON 到 FIFO 为例）

在 /etc/rsyslog.d/50-loki.conf 中：

Obsidian (Linux)

操作 Obsidian 库（纯 Markdown 笔记），并通过 notesmd-cli 实现自动化。

下载

module(load="omprog")
<h1>创建命名管道（仅需执行一次）</h1><p>$ActionOMProgBinary /bin/bash
$ActionOMProgCommand /bin/bash -c 'mkfifo -m 600 /run/rsyslog-to-loki.fifo 2>/dev/null || :'</p><p>template(name="LokiJSON" type="list") {
constant(value="{")
constant(value="\"timestamp\":\"")     property(name="timereported" dateFormat="rfc3339")
constant(value="\",\"host\":\"")       property(name="hostname")
constant(value="\",\"level\":\"")      property(name="syslogseverity-text")
constant(value="\",\"program\":\"")    property(name="programname")
constant(value="\",\"message\":\"")   property(name="msg" format="json")
constant(value="\"}")
}</p><p>if $programname == 'nginx' or $syslogfacility-text == 'local7' then {
action(
type="omprog"
binary="/usr/local/bin/rsyslog-to-fifo.py"
template="LokiJSON"
input="full"
output="full"
timeout="3"
)
}
</p>

注意：rsyslog-to-fifo.py 需自行编写，功能只是读取 stdin 的 JSON 行，追加写入 FIFO（带异常捕获和重试 open）；不要做网络请求。