Laravel ES异步查询借助队列处理海量检索任务

云静大大_4247

云静大大_4247

2026-08-13

913人浏览

原创

必须将海量检索逻辑拆入队列任务异步执行,因scout的search()同步调用会导致内存爆、超时和阻塞;需改用原生elasticsearch客户端配合multi_search api,并做好连接池、错误兜底与内存控制。

laravel es异步查询借助队列处理海量检索任务

直接用 Laravel Scout 同步调用 search() 做海量检索,内存爆、超时、阻塞请求是必然结果。必须把检索逻辑拆进队列任务里异步执行,再通过回调或状态轮询获取结果。

为什么不能在控制器里直接调用 search() 处理大量关键词

Scout 的 search() 默认走同步 HTTP 请求(如 Algolia/Elasticsearch),单次响应慢、并发高时连接池打满;更关键的是,如果你循环调用 search() 处理 1000 个关键词,PHP 进程会卡死在 I/O 上,不释放内存,php-fpm worker 很快耗尽。

  • 本地开发时设 SCOUT_QUEUE=false 是为了调试,不是为批量场景准备的
  • 即使开了队列,search() 本身不进队列——只有 model->searchable() 或 Model::search(...)->update() 这类索引操作才触发队列任务
  • 海量检索 ≠ 索引更新,Scout 不提供“批量搜索进队列”的原生能力,得自己封装

如何把 Elasticsearch 检索逻辑塞进 Laravel 队列任务

核心是:别依赖 Scout 的查询接口,改用原生 Elasticsearch 客户端(如 elasticsearch/elasticsearch)发请求,并确保任务类实现 ShouldQueue。

Laravel Creem Agent
Laravel Creem Agent

Creem 支付商店助理 — 查询订阅、客户、交易、产品,执行心跳检查,管理本地 Laravel支付商店。

下载
  • 在任务构造函数中只传必要参数,比如关键词数组、回调 URL、超时阈值,**不要传模型实例或 Eloquent 对象**(序列化大对象易失败)
  • handle() 中用 Client::search() 发起多关键词请求,推荐用 multi_search API 批量合并(比循环调用省连接)
  • 结果处理完后,用 Http::post() 或事件通知下游系统,避免在任务里阻塞等待响应
  • 加 public $tries = 3; 和 public $timeout = 120;,防止 ES 临时抖动导致任务卡死

chunkById + 队列组合处理“查完再搜”的场景

有些需求是:先从数据库捞出一批记录(比如 5 万条用户),再对每条记录的字段去 ES 检索关联内容。这时不能 get()->each(...),而要用 chunkById 控制内存,再把每批交给队列。

  • 主流程用 User::where('status', 'active')->chunkById(500, function ($users) { ... })
  • 闭包内对每批 $users 构造一个 SearchBatchJob,传入 $users->pluck('id')->all() 和字段名
  • Job 内部用 Client::msearch() 一次查多个文档,避免 N 次 round-trip
  • 注意:ES 查询条件里别用 PHP 变量拼接 JSON 字符串,用 Builder 类或数组结构防注入

容易被忽略的连接与错误兜底点

ES 客户端默认不复用连接,高频队列任务下容易触发 Connection refused 或 Too many open files。

  • 初始化 Client 时传 'connectionPool' => \Elasticsearch\ConnectionPool\StaticNoPingConnectionPool::class,并预热连接池
  • 捕获 Elasticsearch\Common\Exceptions\NoNodesAvailableException,记录到 failed_jobs 并告警,别静默重试
  • 队列任务里别用 dd() 或 dump(),日志统一走 Log::channel('es'),方便和 Horizon 关联排查
  • 如果 ES 返回 hits 为空但 status=200,检查 mapping 是否变更、字段是否被 analyzer 处理掉(比如 keyword 字段搜 text 内容)

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

laravel

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
laravel组件介绍
laravel组件介绍

laravel 提供了丰富的组件,包括身份验证、模板引擎、缓存、命令行工具、数据库交互、对象关系映射器、事件处理、文件操作、电子邮件发送、队列管理和数据验证。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2024.04.09

857

10

laravel中间件介绍
laravel中间件介绍

laravel 中间件分为五种类型:全局、路由、组、终止和自定。想了解更多laravel中间件的相关内容,可以阅读本专题下面的文章。

2024.04.09

835

9

laravel使用的设计模式有哪些
laravel使用的设计模式有哪些

laravel使用的设计模式有:1、单例模式;2、工厂方法模式;3、建造者模式;4、适配器模式;5、装饰器模式;6、策略模式;7、观察者模式。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2024.04.09

2468

10

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.10

3961

7

laravel入门教程
laravel入门教程

本专题整合了laravel入门教程,想了解更多详细内容,请阅读专题下面的文章。

2025.08.05

5650

22

laravel实战教程
laravel实战教程

本专题整合了laravel实战教程,阅读专题下面的文章了解更多详细内容。

2025.08.05

3776

13

laravel面试题
laravel面试题

本专题整合了laravel面试题相关内容,阅读专题下面的文章了解更多详细内容。

2025.08.05

7089

7

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

2026.03.04

1416

29

Laravel 框架安装指南
Laravel 框架安装指南

本指南详解 Laravel 框架安装全流程,涵盖 PHP 8.1+ 环境配置、Composer 依赖管理工具安装及国内镜像源优化。重点演示使用 composer create-project 命令创建 Laravel 10/11 项目,解决常见安装错误与依赖冲突。从环境搭建到项目初始化,助您快速完成 Laravel 开发环境部署,为后续 Web 应用开发奠定基础。适合 PHP 初学者与框架迁移开发者参考。

2026.04.09

215

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
如何安装 Composer
如何安装 Composer

共1课时 | 206人学习

Composer手册
Composer手册

共0课时 | 0人学习