如何在扣子中创建分流器实现海量长文本分段高效处理

夏涛吖_1621

夏涛吖_1621

2026-06-10

232人浏览

原创

必须用分流器将超2800字符的文本按1800字符切分并保留句子完整性,再通过批处理节点解包数组,否则大模型输入会被静默截断。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如何在扣子中创建分流器实现海量长文本分段高效处理

你需要把一篇上万字的行业报告喂给大模型做深度分析,但直接提交会触发超长文本截断或生成质量崩塌——这时候必须用分流器把原文切成语义连贯、长度可控的段落,再分发给不同节点并行处理。

确认文本是否真需要分流

打开扣子工作流画布,先拖入一个「开始」节点,在其输出字段中填入待处理文本。如果该文本长度 【超过2800字符】,且后续节点是大模型(如GPT-4、Qwen-Max),就必须加分流器;若只是调用LinkReaderPlugin或代码节点做清洗,可跳过此步。

注意:扣子平台对单次输入到大模型节点的文本长度有硬性限制,超限将静默截断后半部分,不会报错也不会提醒。

添加分流器节点并配置切分逻辑

在画布空白处点击「添加节点」→ 选择「工具」分类 → 找到并添加「分流器」节点(图标为三条平行箭头分叉)。

双击该节点进入配置页:

  • 切分方式选「按字符数」
  • 每段最大长度填 【1800】(留出200字符余量供提示词和系统指令使用)
  • 启用「保留句子完整性」开关——否则可能在句中强行截断,导致后续大模型理解错乱

这一步不能填2000或2500。实测发现,当设为2000时,部分段落末尾会卡在“因此”“然而”等转折连词后,造成语义断裂;1800是兼顾吞吐量与语义安全的临界值。

连接分流器与下游节点

第一步:将「开始」节点的输出字段(如text)拖拽连线至「分流器」节点的输入口。

第二步:从「分流器」节点右侧三个出口分别引出连线:

扣子Coze CLI工具
扣子Coze CLI工具

与 Coze CLI (@coze/cli) 交互——创建/部署 Coze 项目、管理空间和组织、向项目发送消息、生成图像/音频/视频等功能

下载
  1. 「第一段」→ 连接到第一个大模型节点(用于生成摘要)
  2. 「第二段」→ 连接到第二个大模型节点(用于提取数据表格)
  3. 「剩余段落」→ 连接到「批处理节点」(统一交由并行引擎调度)

「剩余段落」出口输出的是一个数组,不是单个字符串。如果你把它直接连给普通大模型节点,会报错“期望字符串,得到列表”。必须接「批处理节点」或「代码节点」来解包。

用代码节点做智能语义补全(可选进阶)

方法一:在分流器后加一个「代码节点」,粘贴以下Python逻辑:

```python
import re
segments = []
for seg in input["segments"]:
  # 去除首尾空格,合并被切断的短句
  cleaned = seg.strip()
  if len(cleaned)     segments[-1] += " " + cleaned
  else:
    segments.append(cleaned)
output["segments"] = segments
```

方法二:改用正则预处理——在「开始」节点后先接一个「代码节点」,用 re.split(r'(? 按中文句末标点切分,再按需合并至1800字内。比纯字符切分更抗干扰,但对无标点长段落(如代码块、表格文字)容易失效。

验证分流效果

点击画布右上角「试运行」,在输入框中粘贴一段3200字的测试文本。

运行后查看「分流器」节点的输出日志:

✅ 正常情况:显示 "segments": ["第1段内容...", "第2段内容...", ...],共2~3个元素,每段长度在1750~1800之间

❌ 异常情况:若只输出1个元素且长度仍为3200,说明「保留句子完整性」开关未开启,或输入文本本身无换行/无标点,需退回上一步改用代码节点预处理。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

扣子 扣子工作流 qwen

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
扣子智能体开发实操指南
扣子智能体开发实操指南

本专题面向开发者与产品同学,完整讲解扣子智能体Bot从零到一的搭建流程,包括Bot创建、提示词编写、插件接入、变量与记忆配置、调试与多渠道发布,帮助你打造属于自己的AI助手。

2026.06.05

514

14

扣子工作流全功能使用教程
扣子工作流全功能使用教程

本专题系统讲解扣子工作流的搭建逻辑与节点使用,覆盖LLM节点、代码节点、条件分支、循环节点与子工作流等核心能力,配合15个实战案例,帮助你用工作流把复杂业务流程自动化。

2026.06.05

414

15

扣子知识库零基础入门
扣子知识库零基础入门

本专题围绕扣子知识库与记忆系统,详细讲解知识库创建、文档上传、切片策略、向量召回、问答调优以及变量记忆与数据库的使用方法,帮助你打造高准确率的私有知识问答能力。

2026.06.05

487

15

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

2026.10.16

60

10

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

2026.10.16

40

10

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

2026.10.16

40

10

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

2026.10.16

20

15

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

2026.10.16

20

15

Revel框架入门与安装配置
Revel框架入门与安装配置

本专题从Revel框架环境搭建讲起,系统介绍命令行工具安装、项目创建、目录结构、配置文件及热代码重载,帮助开发者快速完成首个Go Web应用。

2026.10.16

20

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
扣子入门级教程
扣子入门级教程

共0课时 | 278人学习

扣子官方文档
扣子官方文档

共0课时 | 0人学习