PHP 8.3 中用生成器实现海量二维数组低内存去重，核心是流式处理：逐条提取业务键（如 id/email）拼接哈希判重，仅用常量级内存；无固定键时可用 ksort + json_encode 生成确定性哈希；支持 CSV、数据库游标等流式数据源，形成管道式处理链。
PHP 8.3 中用生成器处理海量二维数组去重，核心是避免一次性将全部数据载入内存，而是边读、边判重、边产出。传统 array_unique 或序列化方案在百万级子数组时极易触发内存溢出（OOM），而生成器（Generator）配合流式哈希判重可将内存占用控制在常量级。
用生成器 + 唯一键哈希实现低内存去重
适用于每条记录有稳定业务键（如 id、email、url 等）的场景。不依赖序列化，不加载全量数据，适合日志、爬虫、ETL 等流式处理。
- 定义一个生成器函数，接收二维数组（或可迭代数据源，如
Iterator、Traversable、数据库游标） - 内部维护一个轻量级
array_key_exists查表（键为业务字段拼接的字符串，值可为true或时间戳） - 逐条 yield 满足“未见过该键”的子数组，跳过重复项
示例代码：
function uniqueByFieldGenerator(array|Traversable $data, string|array $fields): Generator
{
$seen = [];
foreach ($data as $item) {
if (!is_array($item)) {
continue;
}
// 提取指定字段并拼成唯一键（自动忽略缺失字段）
$keyParts = [];
foreach ((array)$fields as $field) {
$keyParts[] = $item[$field] ?? '';
}
$key = implode('|', $keyParts);
<pre class="brush:php;toolbar:false;"> if (!isset($seen[$key])) {
$seen[$key] = true;
yield $item;
}
}}
// 使用示例：按 id 和 email 联合去重 $largeArray = [/ 百万级子数组 /]; foreach (uniqueByFieldGenerator($largeArray, ['id', 'email']) as $row) { // 每次只保留一条，内存几乎恒定 process($row); }
用生成器 + JSON 哈希（无固定键时的备选）
当没有天然业务键，又不能使用 serialize()（含资源/闭包会失败）时，可用 json_encode($item, JSON_FORCE_OBJECT | JSON_UNESCAPED_UNICODE) 生成标准化字符串作为哈希依据。注意：需确保键顺序一致（PHP 7.4+ 默认保持插入序，但若数据来自不同来源，建议先 ksort()）。
- 对每个子数组做
ksort+json_encode，生成确定性哈希串 - 查表判重后 yield，不缓存原始子数组副本
- 比
serialize更安全，兼容性更好，且 JSON 是纯字符串，无反序列化风险
对接数据库或文件流的扩展写法
真实海量场景中，二维数组往往来自 CSV、MySQL 游标或 API 分页响应。可将生成器封装为数据适配器：
- 从
fopen('data.csv') + fgetcsv流式读取，每行转为关联数组后送入去重生成器 - 用 PDO 的
PDO::FETCH_ASSOC+yield替代fetchAll()，避免查全表撑爆内存 - 组合多个生成器：读取 → 清洗 → 去重 → 转换 → 输出，形成管道式处理链
PHP 8.3 对生成器做了小幅优化（如更紧凑的内部状态机），但关键仍是逻辑设计。只要不把整个二维数组 memory_get_usage() 拉到几百 MB，就说明这条路走对了。
php免费学习视频：立即使用
踏上前端学习之旅，开启通往精通之路！从前端基础到项目实战，循序渐进，一步一个脚印，迈向巅峰！
