直接原因是rsyslog进程fd超限触发“too many open files”错误,需分层调优:从systemd服务级(limitnofile)、内核级(fs.file-max)到用户级(limits.conf)逐层对齐,并优化rsyslog自身配置(如keep-alive、maxconnections、禁用冗余模块)。

直接原因是 rsyslog 进程打开的文件描述符(FD)数量超限,触发“Too many open files”错误,导致新连接被拒绝。核心不是调高某个单一数值,而是分层补全限制链:从进程级、服务级到内核级,全部对齐并发规模。
确认当前各层限制值
先摸清瓶颈在哪一层,再针对性调整:
- 查 rsyslog 进程当前已用 FD 数:lsof -p $(pidof rsyslogd) | wc -l
- 查该进程软硬限制:cat /proc/$(pidof rsyslogd)/limits | grep "Max open files"
- 查 systemd 对 rsyslog 的限制:systemctl show -p LimitNOFILE rsyslog.service
- 查系统全局上限:cat /proc/sys/fs/file-max
- 查本地端口可用范围(影响 TCP 连接复用):sysctl net.ipv4.ip_local_port_range
逐层提升文件描述符上限
必须按顺序配置,缺一不可,否则上层限制会被下层截断:
-
systemd 服务级(最关键):rsyslog 由 systemd 管理,/etc/security/limits.conf 对它基本无效。新建覆盖配置:
sudo mkdir -p /etc/systemd/system/rsyslog.service.d
echo -e "[Service]\nLimitNOFILE=131072" | sudo tee /etc/systemd/system/rsyslog.service.d/override.conf -
内核全局上限:确保系统总容量足够支撑万级连接。
临时生效:sudo sysctl -w fs.file-max=2097152
永久生效:在 /etc/sysctl.conf 中添加 fs.file-max = 2097152 -
可选:用户级兜底(如 rsyslog 以 syslog 用户运行):
在 /etc/security/limits.conf 中添加:
syslog soft nofile 131072
syslog hard nofile 131072
优化 rsyslog 自身连接处理能力
光开大 FD 不够,还要让 rsyslog 高效复用和释放连接:
- 启用 TCP Keep-Alive,在 /etc/rsyslog.conf 或 /etc/rsyslog.d/ 下配置中加入:
$InputTCPServerStreamDriverMode 1
$InputTCPServerStreamDriverAuthMode x509/name(若用 TLS)
并确保 imtcp 模块已加载且监听配置含 keep-alive="on" - 限制单个客户端最大连接数(防滥用):
在 TCP 输入规则中加参数,例如:
input(type="imtcp" port="514" maxconnections="500" keep-alive="on") - 关闭不必要的模块(减少 FD 占用):
注释掉未使用的 module(load="...") 行,如 omelasticsearch、omkafka 等非必需输出模块
验证与观测
改完别急着压测,先确认生效:
- 重载并重启:sudo systemctl daemon-reload && sudo systemctl restart rsyslog
- 确认新限制已加载:systemctl show -p LimitNOFILE rsyslog.service 应显示 131072
- 观察连接增长是否平稳:watch -n1 'ss -s | grep "TCP:"' 或 lsof -i :514 | wc -l
- 检查 rsyslog 日志是否有新报错:journalctl -u rsyslog -n 50 --no-pager










