并发限制必须在网关层实施，应用层加semaphore无效；应优先配置qps与并发连接数，nginx用limit_req zone=fable burst=20 nodelay配合limit_conn防sse连接耗尽；fable 5.1需启用路径级配额并监控x-ratelimit响应头。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
并发请求限制必须在网关层做，不是改代码能解决的
直接在应用代码里加 threading.Semaphore 或 asyncio.Semaphore 没用。Fable 5.1 是 HTTP 网关服务，流量在到达你的业务逻辑前，就已经经过 DNS、TLS、负载均衡、鉴权中心多个环节。你控制的是最后一环，而压垮服务器的往往是前面几环的连接堆积和上下文缓存膨胀。
真正有效的并发控制，必须落在网关配置或反向代理上。国内中转平台通常提供「每 IP 每秒请求数（QPS）」和「全局并发连接数」两个维度的开关，优先调这两个。
nginx 配置限流时要注意 rate 和 burst 的配合
如果你自己部署了 nginx 做前置代理，limit_req 是最常用手段，但容易配错：
-
rate=5r/s表示每秒最多放行 5 个请求，超出的会被 503 拒绝 —— 这适合防爬，但对 Fable 5.1 的流式响应不友好，因为一个/v5.1/messages请求可能持续数秒，实际占用连接时间远超 1 秒 - 更合理的写法是：
limit_req zone=fable burst=20 nodelay;，其中burst=20允许突发缓冲，nodelay避免排队等待导致流式中断 - 务必搭配
limit_conn控制长连接总数，比如limit_conn addr 100;，防止单个客户端建太多 SSE 连接把内存耗尽
别忽略 Fable 5.1 自带的滑动窗口配额机制
官方网关本身就有 5 小时滑动窗口限流，但这个策略默认只对 API Key 绑定的总调用量生效，不区分来源 IP 或路径。如果你的服务被某个客户端高频轮询 /health 或重复提交相同 prompt，它不会触发限流 —— 因为 token 消耗极低。
将 Claude Agent SDK 与 You.com HTTP MCP 服务器集成，支持 Python 和 TypeScript。当开发者提及 Claude Agent SDK、Anthropic Agent SDK 或将 Claude 与 MCP 工具集成时使用。
应对方法：
- 在网关配置里开启「路径级配额」，对
/v5.1/messages单独设限，比如每 60 秒最多 3 次 - 对
Content-Length超过 10KB 的请求额外加权，避免大 context 请求挤占小请求资源 - 检查响应头里的
X-RateLimit-Remaining和X-RateLimit-Reset，它们反映的是网关真实配额状态，比你自己计数更可靠
流式响应场景下，连接数比 QPS 更关键
Fable 5.1 默认走 SSE（Server-Sent Events），一个请求会保持连接数秒到数十秒。此时并发连接数（concurrent connections）比每秒请求数（QPS）更容易成为瓶颈。
几个实操建议：
- 在 nginx 中设置
keepalive_timeout 15s;，避免空闲连接长期占用 - 客户端必须实现超时中断逻辑，比如 fetch 的
signal+AbortController，否则一个卡住的流会一直挂着 - 监控
netstat -an | grep :443 | grep ESTABLISHED | wc -l，如果稳定超过 800，说明连接池已饱和，要立刻调低limit_conn
最常被忽略的一点：Fable 5.1 的 effort 参数越高，单次请求的推理耗时越长，连接占用时间成倍增加。高 effort 下不调连接数限制，等于主动给自己埋雷。
