火山引擎怎么在用户点击停止后取消生成_火山引擎模型请求取消实现步骤

梦雪同学_2231

梦雪同学_2231

2026-10-23

600人浏览

原创

用户点击“停止”按钮后,前端调用 abortcontroller.abort() 中断 fetch 请求,后端通过请求 id 轮询或 http/2 流重置检测取消信号,在生成循环中实时检查并终止推理、清理资源,返回取消状态。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

火山引擎怎么在用户点击停止后取消生成_火山引擎模型请求取消实现步骤

用户在火山引擎的模型服务界面点击“停止”按钮后,需立即中止正在执行的模型推理请求,避免资源浪费和响应延迟。这要求前端触发取消信号,后端服务能识别并终止对应请求的执行流程,且不返回残留结果。

前端发起取消请求

在用户点击“停止”按钮时,前端 JavaScript 检查当前是否存在活跃的 fetch 请求实例,若存在则调用其 AbortController 的 abort() 方法。

创建 AbortController 实例并传入 fetch 的 signal 选项:const controller = new AbortController(); fetch(url, { method: 'POST', body: JSON.stringify(data), signal: controller.signal });

点击停止按钮时执行 controller.abort();这会立刻中断 fetch 连接,浏览器不再等待响应,也不会触发 then 或 catch 中的后续逻辑。

【必须在发起请求前创建 controller,不能在点击停止时才 new AbortController()】

后端识别并终止推理任务

方法一:基于请求 ID 的主动轮询终止

前端发起请求时携带唯一 request_id(如 UUID),后端将该 ID 写入 Redis 并设置过期时间;当收到 /cancel/{request_id} 请求时,将对应 key 的 value 设为 "canceled"。

模型推理主逻辑在每轮计算间隙(例如每次 token 生成后)检查 Redis 中该 request_id 的状态,若值为 "canceled",则抛出 CancelledError 并退出生成循环。

火山引擎
火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

下载

方法二:利用 HTTP/2 流重置信号

火山引擎 API 网关若启用 HTTP/2,服务端可通过 stream.reset() 捕获客户端连接关闭事件;此时直接中断 tokengenerator.next() 调用链,避免继续 yield 新 token。

注意:该方式依赖网关透传 RST_STREAM 帧,需确认火山引擎 API 网关配置中未缓冲或重试中断连接。

服务端模型生成逻辑改造

第一步:在生成函数入口处注入 cancellation check 工具函数

第二步:将原 for 循环生成逻辑改为 while 循环,并在每次迭代开头调用 if (isCancelled(requestId)) throw new TaskCancelled();

第三步:捕获 TaskCancelled 异常,清理 GPU 显存缓存(如 torch.cuda.empty_cache()),关闭 KV Cache 缓冲区,释放本次请求占用的 context slot。

第四步:返回 HTTP 200 响应体 { "status": "cancelled", "request_id": "xxx" },不返回 partial content。

相关专题

更多
Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

2026.10.22

0

11

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

2026.10.22

0

10

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

2026.10.22

0

15

Gradle怎么构建Java项目
Gradle怎么构建Java项目

本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。

2026.10.22

0

10

PHP时间戳漏洞修复教程
PHP时间戳漏洞修复教程

本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。

2026.10.22

0

25

Golangci-lint配置文件与规则设置
Golangci-lint配置文件与规则设置

本专题聚焦Golangci-lint YAML配置文件,讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置,便于团队统一检查标准。

2026.10.22

0

15

Golangci-lint安装与入门教程
Golangci-lint安装与入门教程

本专题讲解Golangci-lint的安装、初始化、基础命令和首次代码检查,覆盖本地环境、Docker及多平台用法,帮助Go开发者快速上手。

2026.10.22

0

15

PHP2Shell高危漏洞修复教程
PHP2Shell高危漏洞修复教程

PHP2Shell漏洞是什么,哪些PHP版本和运行环境会受到影响,服务器应该如何检测与修复?本专题提供版本自查脚本、Linux与Docker升级命令、PHP-FPM和Apache排查步骤,以及修复验证、临时缓解和应急响应方案。

2026.10.22

20

12

剧云人物设定与关系管理教程
剧云人物设定与关系管理教程

本专题介绍剧云人物设定与关系管理,讲解角色小传、性格职业、人物目标、背景资料和关系网络的创建及维护方法。

2026.10.22

0

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.9万人学习