PHP8.2 调用通义千问批量请求怎么控制并发数量

夜萱酱_3982

夜萱酱_3982

2026-10-04

543人浏览

原创

php调用dashscope api批量请求需客户端并发控制:cli用spatie/fork限并发,web用redis队列解耦,禁用同步串行或无节制curl_multi,须设超时、重试及合理qpm配额。

php8.2 调用通义千问批量请求怎么控制并发数量

PHP 8.2 调用通义千问(DashScope)做批量请求时,不能直接依赖服务端自动批处理,因为 DashScope 官方 API 当前不支持 batch 字段或原生批量 endpoint(如 /v1/batches),每次调用仍是单次 POST /api/v1/services/aigc/text-generation/generation。所以“批量请求”在 PHP 中实际是指:并发发起多个独立请求,而控制并发数,就是防止瞬间打满 QPM/TPM 配额、触发 RateLimitExceeded 或连接耗尽。

核心思路是:客户端节流 + 连接复用 + 异常重试,而非等待服务端合并。


一、用 p-limit 控制最大并发请求数(最轻量实用)

p-limit 是专为 Promise 场景设计的并发控制器,配合 PHP 的异步 HTTP 客户端(如 GuzzleHttp\Promise 或 ReactPHP)可精准限流。

✅ 适用场景:中低并发(≤50)、逻辑简单、无需复杂调度
✅ 优势:零配置、无扩展依赖、代码清晰、易调试

示例(使用 Guzzle + Promises):

use GuzzleHttp\Client;
use GuzzleHttp\Promise;
use function GuzzleHttp\Promise\all;

require 'vendor/autoload.php';

$client = new Client(['base_uri' => 'https://dashscope.aliyuncs.com/api/v1/']);

// 创建并发控制器:最多同时执行 8 个请求
$limit = new \Psr7\Http\Message\Limit(8); // 实际需用 p-limit 的 PHP 移植版,或手动实现

// 更推荐:用 spatie/fork(CLI 场景)或自建队列;但若坚持纯 HTTP 并发,可用以下简易节流器
class ConcurrencyLimiter {
    private int $max;
    private int $active = 0;
    private array $queue = [];

    public function __construct(int $max) {
        $this->max = $max;
    }

    public function run(callable $fn): \Generator {
        $promise = new \GuzzleHttp\Promise\Promise(function ($resolve, $reject) use ($fn) {
            try {
                $result = $fn();
                $resolve($result);
            } catch (\Exception $e) {
                $reject($e);
            }
        });

        return $promise;
    }

    // 实际项目中建议直接使用 spatie/fork 或 Swoole 协程
}

⚠️ 注意:PHP 原生不支持 Promise.all() 等异步语法(除非用 ReactPHP/Swoole)。因此更现实的做法是:

千问文生图
千问文生图

阿里云千问文生图模型(Qwen-Image)技能,支持图像生成。当用户要求AI生成图片、画图、文生图、text-to-image,或提到千问、阿里云生图时使用。支持中英文提示词,可指定画面尺寸、风格参数等。

下载

➡️ CLI 场景 → 用 spatie/fork 分叉子进程(推荐)
➡️ Web 场景 → 改用消息队列(Redis + Worker)削峰填谷


二、CLI 下用 spatie/fork 实现真正并发(推荐)

适合定时任务、后台批量处理(如导出 1000 条文本调用 Qwen 做摘要):

composer require spatie/fork
use Spatie\Fork\Fork;

$prompts = [
    '总结这篇技术文档的核心要点',
    '将以下内容翻译成意大利语:...',
    // ... 共 100 条
];

$results = Fork::new()
    ->concurrency(6) // 同时最多跑 6 个子进程
    ->run(...array_map(function($prompt) {
        return function() use ($prompt) {
            $client = new \GuzzleHttp\Client();
            $response = $client->post('https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation', [
                'headers' => [
                    'Authorization' => 'Bearer YOUR_API_KEY',
                    'Content-Type'  => 'application/json',
                ],
                'json' => [
                    'model' => 'qwen-turbo',
                    'input' => ['messages' => [['role'=>'user', 'content'=>$prompt]]],
                    'parameters' => ['temperature'=>0.3]
                ]
            ]);
            return json_decode($response->getBody(), true)['output']['text'] ?? '';
        };
    }, $prompts));

print_r($results);

✅ 自动管理进程生命周期
✅ 每个子进程独立内存空间,避免变量污染
✅ 天然隔离失败请求,不影响其余任务
✅ 支持 before() 初始化 DB/Client,after() 清理资源


三、Web 场景下必须用队列解耦(防超时 & 内存溢出)

PHP-FPM 默认超时 30s,一次发 100 个并发请求极易超时、OOM。正确做法:

  1. 用户提交批量任务 → 写入 Redis 队列(如 queue:qwen-jobs)
  2. 启动常驻 Worker(用 symfony/console + predis)消费队列
  3. Worker 内部用 p-limit 或 fork 控制每轮并发数(如每次取 10 条,限 5 并发)

示例结构:

[Web 请求] → POST /api/qwen/batch → 存 job_id + prompts 到 Redis  
[Worker 进程] → BRPOP queue:qwen-jobs → 拆成小批次 → 限并发调用 DashScope → 写回结果

这样既保障响应速度(Web 层秒回),又确保稳定吞吐。


四、关键避坑提醒

  • ❌ 不要 foreach + file_get_contents() 同步串行 —— 效率极低,QPM 利用率
  • ❌ 不要 curl_multi 无节制并发 —— 易触发系统文件句柄耗尽(Too many open files)
  • ✅ 必须设置 timeout 和 connect_timeout(建议 ≤8s),避免卡死
  • ✅ 所有请求头加 X-DashScope-Async: true(部分模型支持异步响应,减少等待)
  • ✅ 错误时检查 Retry-After 响应头,实现指数退避(如 1s → 2s → 4s)

不复杂但容易忽略:并发不是越多越好,Qwen-turbo 的默认配额是 500 QPM,意味着每秒最多约 8–10 个请求(按 60s 均匀分布)。盲目开 50 并发只会被限流排队,反而拉长整体耗时。先看 Dashboard 实时用量,再反推合理并发值。

php免费学习视频:立即使用
踏上前端学习之旅,开启通往精通之路!从前端基础到项目实战,循序渐进,一步一个脚印,迈向巅峰!

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2023.09.01

9904

6

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

5921

5

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

2075

5

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

2023.10.23

3688

4

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

2023.10.23

4394

6

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.03

3451

9

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.09

4897

8

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

3822

8

sprintf函数用法详解
sprintf函数用法详解

sprintf函数的用法:1、格式化字符串;2、指定输出宽度和精度;3、返回值。更多关于sprintf函数用法详解的内容,大家可以阅读下面的文章。

2023.11.27

11802

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
零基础新手入门PHP教程
零基础新手入门PHP教程

共237课时 | 49万人学习

新版php入门教程
新版php入门教程

共85课时 | 49.7万人学习

李炎恢PHP视频教程第一季
李炎恢PHP视频教程第一季

共136课时 | 61万人学习