Elasticsearch索引日志太多怎么设置滚动

轻明君_1367

轻明君_1367

2026-09-15

908人浏览

原创

优先用ilm自动管理,避免手动调用_rollover;因后者是一次性操作、无后台检查、依赖别名正确配置,易失败;ilm需策略+模板+初始索引别名三者缺一不可。

elasticsearch索引日志太多怎么设置滚动

直接上结论:别手动轮询或定时调用 _rollover,优先用 ILM(Index Lifecycle Management)自动管理;手动 rollover 仅适合调试、小规模或临时场景,否则容易漏触发、别名错乱、索引命名断裂。

为什么不能只靠 _rollover API 定时调用

很多人一上来就写个 cron 脚本每天跑 POST logs-alias/_rollover,结果发现:索引没滚动、别名没切、甚至报 no write index is defined。根本原因是:_rollover 不是“开启自动滚动”的开关,它是一次性操作——只对当前 可写的那个索引 检查条件并执行一次滚动,且要求该索引必须满足 is_write_index: true 的别名配置。

  • 如果上次滚动后你忘了更新别名指向,或者新索引没正确设置 is_write_index,下一次调用就直接失败
  • max_age 是从索引创建时间算起,不是从上次 rollover 算起;如果你手动延迟执行,可能跳过窗口导致堆积
  • 没有后台守护机制,ES 不会主动检查条件是否满足;全靠你调度,可靠性低

必须配齐的三个组件:ILM 策略 + 索引模板 + 初始索引别名

缺一不可。顺序错了或漏了任意一个,ILM 就不会绑定到索引,滚动永远不会发生。

onewo-rtlinux
onewo-rtlinux

Linux 实时编程助手。生成、审查并修改用于周期性控制任务和中断驱动程序的 C 代码。强制实施实时调度策略。

下载
  • _ilm/policy/my-policy:定义 hot 阶段的 rollover 条件(比如 "max_docs": 5000000"max_size": "40gb"),delete 阶段的清理逻辑(如 "min_age": "60d"
  • _index_template/my-template:在 template.settings 里显式写入 "index.lifecycle.name": "my-policy""index.lifecycle.rollover_alias": "logs-write"
  • 初始索引(如 logs-000001)必须带别名:"aliases": { "logs-write": { "is_write_index": true } } —— 这是 ILM 找到“当前写索引”的唯一依据

max_sizemax_primary_shard_size 到底该选哪个

看你的分片数是否固定。如果用了默认 1 主分片,二者效果一样;但一旦设了 number_of_shards: 5,差别就大了:

  • max_size: "40gb":整个索引总大小超 40GB 就滚动(5 个分片加起来)
  • max_primary_shard_size: "8gb":任一主分片超过 8GB 就滚动(更公平,防热点分片撑爆)
  • 生产环境强烈建议用 max_primary_shard_size,尤其日志类数据容易倾斜;max_docs 可作为兜底,避免小文档塞满分片但体积不达标

滚动后查不到新写入的数据?检查别名和查询路径

滚动成功后,新文档写进去了,但 GET logs-write/_search 却查不到最新数据——大概率是你查询时没用写别名,而是直接查了旧索引名或读别名。

  • 写操作必须始终发往 logs-write(那个带 is_write_index: true 的别名)
  • 读操作推荐用另一个别名(如 logs-read),并在模板里统一 alias 所有匹配索引("logs-*"
  • 别混用:不要对 logs-writeGET 查询,它只保证写路由正确;也不要用 logs-000002 这种具体索引名写入,否则 ILM 失效

最易被忽略的一点:ILM 策略生效有延迟,首次绑定后可能要等 10 分钟才开始监控;可以用 GET logs-000001/_ilm/explain 看当前阶段和下一个检查时间。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Elasticsearch 从入门到搜索引擎实战
Elasticsearch 从入门到搜索引擎实战

本专题带你从零掌握 Elasticsearch 分布式搜索引擎。深入解析倒排索引核心原理,涵盖单机与 Docker 环境搭建、IK 中文分词器配置及索引文档的 CRUD 操作。通过丰富的 Query DSL 实战案例,详解布尔查询、聚合分析与高亮显示,助你快速构建毫秒级响应的企业级高性能搜索服务。

2026.05.12

39

10

Elasticsearch 高级查询与性能优化
Elasticsearch 高级查询与性能优化

本专题深入解析 Elasticsearch 高级查询与性能优化实战。详解 Bool 复合查询、复杂过滤及聚合分析技巧,解决多条件精准检索难题。从索引设计、JVM 调优到硬件规划,全方位分享 Filter 缓存、深分页优化及集群架构调优策略,助你突破性能瓶颈,打造毫秒级响应的高并发企业级搜索服务。

2026.05.12

64

10

Elasticsearch 企业级开发与运维实践专题
Elasticsearch 企业级开发与运维实践专题

本专题聚焦 Elasticsearch 企业级开发与运维实战。深入解析生产环境集群架构规划、节点角色分离及冷热数据分层策略。涵盖索引生命周期管理(ILM)、安全权限控制、快照备份及全链路监控告警体系搭建。通过分享高可用部署与故障排查经验,助你构建安全、稳定且可扩展的企业级分布式搜索平台。

2026.05.12

41

10

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

2026.09.23

0

15

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

2026.09.23

0

15

Buffalo框架零基础入门教程
Buffalo框架零基础入门教程

本专题整理Buffalo框架入门内容,涵盖Go环境准备、buffalo CLI安装、新项目生成、目录结构说明、dev热加载启动、数据库连接配置与常见报错排查,帮助新手按约定优于配置的思路跑通第一个Buffalo框架应用。

2026.09.23

0

15

Conan创建软件包配方指南
Conan创建软件包配方指南

本专题介绍通过conanfile.py创建软件包的方法,讲解包名、版本、依赖和构建设置等基础信息,以及source、build、package、package_info等常用方法的作用及编写思路。

2026.09.22

0

12

Conan二进制包配置指南
Conan二进制包配置指南

本专题介绍Conan根据操作系统、编译器、架构和构建类型生成二进制包的方法,讲解Profile、Settings、Options及Package ID的作用,帮助管理不同平台和编译环境下的包版本。

2026.09.22

0

13

Conan私有仓库搭建教程
Conan私有仓库搭建教程

本专题系统的讲解Conan私有仓库的搭建流程,涵盖仓库服务部署、存储目录配置、用户认证、权限划分和远程地址添加,并介绍内部C++依赖包的上传、下载及版本维护方法。

2026.09.22

0

19

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Linux 教程
Linux 教程

共28课时 | 56.8万人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习