JavaScript 中 SSE 怎么配合后端实现大模型流式输出(Streaming)的打字机效果

老辰小哥_4439

老辰小哥_4439

2026-08-27

507人浏览

原创

实现大模型流式输出“打字机”效果需前后端协同:后端按 token 或语义片段通过 sse 逐条推送(如 data: {"text": "今"}\n\n),前端用 eventsource 接收并缓存至数组,再以 requestanimationframe 控制节奏逐字渲染,同时处理超时、乱序、滚动等边界情况。

javascript 中 sse 怎么配合后端实现大模型流式输出(streaming)的打字机效果

要实现大模型流式输出的“打字机”效果,关键不在前端动画本身,而在于前后端协同完成“逐 token 传输 + 逐段渲染”这一闭环。SSE(Server-Sent Events)只是管道,真正让文字“蹦出来”的,是后端边生成边推、前端边收边显的配合。

后端必须按 token 或语义片段推送

大模型(如 Llama、Qwen、ChatGLM)本质是自回归生成——每步只产出一个 token。后端不能等整句生成完再返回,必须启用流式模式(如 OpenAI SDK 的 stream=True,Ollama 的 --stream,或 FastAPI 中手动 yield 每个 chunk)。每条响应应为独立的 SSE 事件:

  • 格式严格为:data: {"text": "今"}\n\n(注意末尾两个换行符)
  • 避免发整句,例如不要发 data: {"text": "今天天气不错"}\n\n,否则前端无法逐字控制节奏
  • 推荐在标点、换行、空格后切分,比如 "今天""今""天"" ""天""气"… 更自然
  • 响应头必须包含:Content-Type: text/event-streamCache-Control: no-cacheConnection: keep-alive

前端用 EventSource 接收并缓存片段

创建连接后,不直接渲染,而是先累积原始数据块,为后续节奏控制留出空间:

Alibabacloud Sdk Client Initialization For Java
Alibabacloud Sdk Client Initialization For Java

在 Java 中初始化和管理阿里云 SDK客户端。包括单例模式、线程安全、endpoint 与 region 配置、VPC 终端节点、同步与异步等。

下载
  • new EventSource(url) 初始化,URL 可带鉴权参数(如 ?token=xxx),但不支持自定义 headers;若需 Authorization,改用 fetch + ReadableStream
  • 监听 message 事件,解析 event.data,用 JSON.parse() 提取 text 字段
  • 把所有 text 存入数组(如 buffer = []),而非立即拼成字符串,便于暂停、回退、去重等操作
  • 监听 error:连接中断时调用 eventSource.close(),延迟 1–3 秒后重建新实例(带指数退避更稳)

用 requestAnimationFrame 控制“打字”节奏

视觉上的逐字效果,靠的是在 buffer 有内容时,以人眼可感知的节奏(20–60ms/字)将字符插入 DOM:

  • 启动渲染函数,每次取 buffer[0],拆成单字符数组(str.split('')),逐个追加到容器的 textContent(不用 innerHTML,防 XSS)
  • requestAnimationFrame 驱动比 setTimeout 更平滑、节电,也更契合浏览器刷新机制
  • 加入暂停控制:设 isPaused = false,在 rAF 循环中检查该标志,为 true 时跳过本次插入
  • 光标效果用 CSS 实现:::after { content: "|"; animation: blink 1s step-end infinite; },连接建立即显示,收到 data: [DONE]\n\n 后移除

处理真实场景中的边界情况

上线后会遇到空数据、乱序、网络抖动等问题,需主动兜底:

  • 过滤无效片段:若 event.data.trim() === '' 或解析失败,直接跳过
  • 超时保护:设置 30 秒无新数据计时器,触发则 close() 并提示“响应超时”
  • 滚动智能适配:仅当用户滚动条在底部时,新内容才自动滚动到底;若用户向上翻看历史,不强行拉回
  • 错误恢复:服务端若中途断流且未发 [DONE],前端应在超时后主动终止,并允许用户点击“继续生成”重试(复用原 prompt)

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2003

5

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

5370

13

后端的主要工作内容介绍
后端的主要工作内容介绍

后端是应用程序的服务端部分,负责核心任务,如数据库交互、业务逻辑处理和响应客户端请求。想了解更多后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

4726

10

js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

4026

5

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

2023.07.04

1029

3

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

2023.07.04

3924

6

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

2023.09.01

820

4

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

1696

5

js生成随机数的方法
js生成随机数的方法

js生成随机数的方法有:1、使用random函数生成0-1之间的随机数;2、使用random函数和特定范围来生成随机整数;3、使用random函数和round函数生成0-99之间的随机整数;4、使用random函数和其他函数生成更复杂的随机数;5、使用random函数和其他函数生成范围内的随机小数;6、使用random函数和其他函数生成范围内的随机整数或小数。

2023.09.04

2965

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WebStorm 官方调试文档
WebStorm 官方调试文档

共0课时 | 0人学习

React 教程
React 教程

共58课时 | 11.9万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 6.5万人学习