
本文介绍如何在 linux 中通过管道将命令行程序的实时 json 输出直接交由 python 流式解析,避免中间文件存储,支持逐行读取、字段提取与即时处理。
本文介绍如何在 linux 中通过管道将命令行程序的实时 json 输出直接交由 python 流式解析,避免中间文件存储,支持逐行读取、字段提取与即时处理。
在 Linux 命令行环境中,许多工具(如 journalctl、kubectl logs、自定义传感器采集程序等)会持续向标准输出(stdout)打印 JSON 格式的日志或事件流。若按传统方式先重定向到文件再用 Python 解析,不仅引入 I/O 开销和延迟,还难以满足实时告警、流式聚合或低延迟响应等场景需求。理想方案是:让 Python 作为管道下游,边接收、边解析、边处理。
✅ 方案一:Python 直接读取 stdin 流(推荐)
假设你的命令为 sensor-monitor --json,它每秒输出一行合法 JSON(即 JSON Lines 格式,每行一个独立 JSON 对象),可这样链式调用:
sensor-monitor --json | python parse_stream.py
parse_stream.py 示例(健壮、可扩展):
#!/usr/bin/env python3
import sys
import json
# 按行读取 stdin(适用于 JSON Lines)
for line_num, line in enumerate(sys.stdin, 1):
line = line.strip()
if not line: # 跳过空行
continue
try:
data = json.loads(line)
# ✅ 提取所需字段(示例:class 和 dte)
class_name = data.get("class")
dte_status = data.get("dte")
# ? 此处插入你的业务逻辑:打印、入库、触发 HTTP 请求、写入 Kafka 等
print(f"[{line_num}] Class: {class_name}, DTE: {dte_status}")
# ✨ 可选:仅保存关键字段到精简文件
# with open("summary.log", "a") as f:
# f.write(json.dumps({"class": class_name, "dte": dte_status}) + "\n")
except json.JSONDecodeError as e:
print(f"⚠️ 第 {line_num} 行 JSON 解析失败: {line!r} — {e}")
except KeyboardInterrupt:
break
⚠️ 注意事项:
- 必须确保上游输出为 每行一个完整 JSON 对象(JSON Lines),而非多行缩进格式;
- 使用
sys.stdin而非input()更可靠(input()在管道中可能因缓冲行为异常);- 加入
strip()和空行检查,增强容错性;- 异常捕获至关重要——流式处理中单条错误不应中断整个流程。
✅ 方案二:用 jq 预过滤字段(高效轻量)
若你仅需少数字段,且希望降低 Python 解析开销(尤其高吞吐场景),可用 jq 在进入 Python 前完成结构裁剪:
KeystoneJS 是一个功能强大的开源无头 CMS,适用于 Node.js,它根据您的模式定义自动生成 GraphQL API 和基于 React 的管理界面。由 Thinkmill 构建,支持 PostgreSQL 和 SQLite、自定义访问控制、钩子、虚拟字段和基于文档的富文本编辑。
sensor-monitor --json | jq -c '{class, dte}' | python process_fields.py
此时 process_fields.py 接收的是已精简的 JSON 字典(如 {"class":"AIS","dte":false}),解析更轻量:
import sys
import json
for line in sys.stdin:
try:
obj = json.loads(line.strip())
# 直接使用 obj["class"], obj["dte"] —— 已保证字段存在
print(f"→ {obj['class']} | DTE={obj['dte']}")
except (json.JSONDecodeError, KeyError):
continue
jq 还支持复杂路径提取(如嵌套对象、数组索引、条件筛选):
# 从 {"A":{"class":"AIS"}, "B":{"dte":true}} 中提取
jq -c '{class:.A.class, dte:.B.dte}'
# 提取多个同级字段并转为数组
jq -c '[.class, .dte]'
# 提取并压缩为单行紧凑格式(-c)
jq -c '{class, dte}'
? 总结与选型建议
| 场景 | 推荐方案 | 理由 |
|---|---|---|
| 需要完整 JSON 结构 + 复杂业务逻辑(如状态机、多字段关联计算) | Python 全量解析 | 灵活性高,便于调试与扩展 |
| 仅需 2~5 个字段 + 高吞吐(>1000 条/秒) |
jq 预过滤 + Python 轻量处理 |
减少 Python GC 压力,jq 用 C 实现,性能极佳 |
| 上游输出非 JSON Lines(如多行 JSON) | 先用 jq -s '.' 合并或改写上游 |
或改用 json.load(sys.stdin)(但会阻塞等待 EOF) |
最终,流式处理的核心是“不落地、不缓存、不阻塞”。结合 sys.stdin 的迭代读取与 json.loads() 的逐行解析,即可构建稳定、低延迟的实时数据处理流水线。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










