Laravel ES聚合前置过滤查询减少计算开销

雨婷君_7184

雨婷君_7184

2026-08-17

716人浏览

原创

聚合前必须先用 filter 上下文过滤数据,因 aggs 不参与评分,但 must/should 会触发无意义打分;应将确定性筛选条件(如状态、时间范围)全置于 bool.filter 中,并确保聚合字段为 keyword 类型、禁用 text 分析。

laravel es聚合前置过滤查询减少计算开销

聚合前必须先用 filter 上下文过滤数据

ES 的 aggs(聚合)本身不参与评分,但若前置的 query 上下文包含 must/should 条件,整个查询仍会触发打分计算——这纯属浪费。真正要做的,是把所有确定性筛选条件(如状态、类目、时间范围)全塞进 bool.filter,让 ES 先快速缩小候选集,再对这个子集做聚合。

常见错误是把 term 或 range 写在 must 里,比如:

{
  "query": {
    "bool": {
      "must": [
        {"term": {"status": "on_sale"}},
        {"range": {"created_at": {"gte": "now-30d"}}}
      ]
    }
  },
  "aggs": { ... }
}

这会让 ES 对每个匹配文档都算一次相关度得分,哪怕你根本不需要排序。正确写法是:

{
  "query": {
    "bool": {
      "filter": [
        {"term": {"status": "on_sale"}},
        {"range": {"created_at": {"gte": "2026-07-14"}}}
      ]
    }
  },
  "aggs": { ... }
}
  • filter 条件不打分、可缓存、执行更快
  • 日期范围别用 now-30d,换成固定时间戳(如 "2026-07-14"),否则 request cache 基本失效
  • 多个 filter 条件之间是 AND 关系,无需嵌套 bool

Laravel 中避免 Scout 封装导致的上下文混淆

Scout 默认把所有条件往 must 里塞,aggs 只是附加字段,没法控制外层 query 结构。一旦你需要前置过滤 + 聚合组合,就得绕过 Scout,直接用原生客户端。

Laravel Creem Agent
Laravel Creem Agent

Creem 支付商店助理 — 查询订阅、客户、交易、产品,执行心跳检查,管理本地 Laravel支付商店。

下载

例如 Laravel 项目中手动构造 DSL:

$client->search([
  'index' => 'products',
  'body' => [
    'query' => [
      'bool' => [
        'filter' => [
          ['term' => ['sale' => true]],
          ['range' => ['price' => ['gte' => 0, 'lte' => 9999]]]
        ]
      ]
    ],
    'aggs' => [
      'by_category' => ['terms' => ['field' => 'category_id.keyword']]
    ]
  ]
]);
  • 别依赖 Searchable trait 的默认搜索逻辑,它不暴露 filter 控制权
  • 如果必须用 Scout,得重写 toSearchableArray() 和自定义引擎,成本远高于直连
  • 确保聚合字段(如 category_id)映射为 keyword 类型,否则 terms 聚合会失败或不准

聚合字段必须禁用 text 分析,且显式指定 .keyword

像 category_name 这种字段,如果 mapping 是 text + keyword 多字段,直接对 category_name 聚合会走分词后结果,导致桶数量爆炸、内存飙升。必须强制用 category_name.keyword。

  • 检查 mapping:GET /products/_mapping,确认目标字段有 .keyword 子字段
  • 聚合时字段名带 .keyword 后缀,例如 "field": "category_name.keyword"
  • 如果字段只存精确值(如 ID、状态码),干脆设为 "type": "keyword",省掉多字段开销
  • 别在聚合里用 script,性能损失极大;能用 range 或 terms 就不用 bucket_script

限制聚合规模,防 OOM 和超时

ES 默认对 terms 聚合最多返回 10000 个桶,但实际业务中常需更多——盲目调高 size 会导致内存暴涨甚至节点宕机。

  • 用 composite 聚合替代大 terms,支持分页和游标式遍历
  • 对高频字段(如品牌、类目)加 min_doc_count: 10,过滤掉噪音桶
  • 聚合前加 terminate_after(如 5000),防止单次查询扫描过多文档
  • PHP 层做兜底:聚合响应里检查 aggregations.by_category.sum_other_doc_count,非零说明被截断,需提示“数据量过大,仅显示 Top N”

聚合不是数据库 GROUP BY,它是在内存里建倒排桶结构。字段基数越高、文档越多,越容易卡在 FetchPhase。真正省资源的办法,不是调大堆内存,而是从源头减少输入规模——filter 要够狠,字段类型要够准,聚合参数要够保守。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

laravel

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
laravel组件介绍
laravel组件介绍

laravel 提供了丰富的组件,包括身份验证、模板引擎、缓存、命令行工具、数据库交互、对象关系映射器、事件处理、文件操作、电子邮件发送、队列管理和数据验证。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2024.04.09

857

10

laravel中间件介绍
laravel中间件介绍

laravel 中间件分为五种类型:全局、路由、组、终止和自定。想了解更多laravel中间件的相关内容,可以阅读本专题下面的文章。

2024.04.09

835

9

laravel使用的设计模式有哪些
laravel使用的设计模式有哪些

laravel使用的设计模式有:1、单例模式;2、工厂方法模式;3、建造者模式;4、适配器模式;5、装饰器模式;6、策略模式;7、观察者模式。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2024.04.09

2468

10

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.10

3841

7

laravel入门教程
laravel入门教程

本专题整合了laravel入门教程,想了解更多详细内容,请阅读专题下面的文章。

2025.08.05

5450

22

laravel实战教程
laravel实战教程

本专题整合了laravel实战教程,阅读专题下面的文章了解更多详细内容。

2025.08.05

3636

13

laravel面试题
laravel面试题

本专题整合了laravel面试题相关内容,阅读专题下面的文章了解更多详细内容。

2025.08.05

6849

7

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

2026.03.04

1416

29

Laravel 框架安装指南
Laravel 框架安装指南

本指南详解 Laravel 框架安装全流程,涵盖 PHP 8.1+ 环境配置、Composer 依赖管理工具安装及国内镜像源优化。重点演示使用 composer create-project 命令创建 Laravel 10/11 项目,解决常见安装错误与依赖冲突。从环境搭建到项目初始化,助您快速完成 Laravel 开发环境部署,为后续 Web 应用开发奠定基础。适合 PHP 初学者与框架迁移开发者参考。

2026.04.09

195

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
如何安装 Composer
如何安装 Composer

共1课时 | 201人学习

Composer手册
Composer手册

共0课时 | 0人学习