PHP数据库查询大量数据使用生成器处理-php教程-PHP中文网

根本原因是MySQLi/PDO默认将全部结果集加载到PHP内存，而非数据量本身；需用MYSQLI_USE_RESULT或关闭PDO缓冲才能配合yield流式处理。

php数据库查询大量数据使用生成器处理

为什么直接 fetch_all() 会爆内存

PHP 进程被 Fatal error: Allowed memory size exhausted 杀掉，根本原因不是数据量大，而是你让 MySQLi 或 PDO 把整张结果集一次性加载进 PHP 用户空间。比如 mysqli_query($conn, "SELECT * FROM logs LIMIT 100000") 后调用 fetch_all(MYSQLI_ASSOC)，哪怕只查 10 万行，每行 2KB 就是 200MB —— 这还没算 PHP 数组本身的内存开销。

生成器本身不解决这个问题；它只是“吐值”的方式。真正起作用的是配合底层流式查询机制。

MySQLi 必须用 MYSQLI_USE_RESULT 模式（非默认），否则仍会缓冲全部结果
PDO 必须关掉缓冲：$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false)
不设这个属性，哪怕写了 yield，PDO 也会在 execute() 时就把所有行读进内存

MySQLi + yield 的正确写法

别用 fetch_all()，改用游标式逐行读取，再用 yield 吐出去：

function queryLargeTable(mysqli $conn): Generator
{
    // 关键：用 MYSQLI_USE_RESULT，不缓存结果集
    $result = $conn->query("SELECT id, name, email FROM users", MYSQLI_USE_RESULT);
    if (!$result) {
        throw new RuntimeException($conn->error);
    }
<pre class="brush:php;toolbar:false;">while ($row = $result->fetch_assoc()) {
    yield $row;
}
$result->free(); // 必须显式释放，否则连接可能卡住

}

注意点：

MYSQLI_USE_RESULT 要求你在读完前不能执行其他查询，否则会报错 Commands out of sync
必须调用 $result->free()，否则 MySQL 连接会被占用，后续查询可能失败
不要在生成器里做耗时操作（如发 HTTP 请求、写日志），否则会阻塞整个流

PDO 场景下最容易踩的坑

很多人以为只要写了 yield 就安全了，结果还是 OOM。问题出在 PDO 默认开启缓冲查询 —— 它会在 execute() 返回后立刻把所有结果捞进内存。

必须在创建 PDO 实例后、执行查询前设置属性：

DrugBank 数据库

访问并分析来自 DrugBank 数据库的全面药物信息，包括药物属性、相互作用、靶点、通路、化学结构和药理学数据。用于药物数据、药物发现研究、药理学研究、药物-

下载

$pdo = new PDO($dsn, $user, $pass, [
    PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION,
    PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => false, // ⚠️ 这行不能少
]);
<p>function pdoStreamUsers(PDO $pdo): Generator
{
$stmt = $pdo->prepare("SELECT id, title FROM articles WHERE status = ?");
$stmt->execute(['published']);</p><pre class="brush:php;toolbar:false;">while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
    yield $row;
}

}

常见错误：