本文介绍一种基于关键词归一化的 php 文本去重方案：将每行句子拆分为单词、排序后重组，使词序不同但词汇相同的行视为重复项，再结合 array_unique 实现真正意义上的语义去重。
本文介绍一种基于关键词归一化的 php 文本去重方案：将每行句子拆分为单词、排序后重组，使词序不同但词汇相同的行视为重复项，再结合 array_unique 实现真正意义上的语义去重。
在处理关键词列表、SEO 词库或用户输入的短语集合时，常遇到“内容相同但词序不同”的伪重复问题。例如 beef bbq recipe、bbq recipe beef 和 recipe bbq beef 实质表达同一搜索意图，但传统 array_unique() 仅做字符串精确匹配，无法识别此类语义重复。
要解决该问题，核心思路是标准化每行的词汇表示：将每行按空格分割为单词数组 → 对单词进行字母序排序 → 重新拼接为规范字符串。这样，所有词汇构成相同的句子都会映射到同一个标准形式，从而可被 array_unique() 正确去重。
以下是完整、健壮的实现代码：
<?php // 读取原始文件（自动去除换行符，保留空行需额外处理）
$lines = file('input.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);
// 步骤1：对每一行执行关键词归一化
$normalized = array_map(function($line) {
// 安全 trim 并排除空行（双重保障）
$line = trim($line);
if (empty($line)) {
return '';
}
// 拆分单词、排序、重组
$words = preg_split('/\s+/', $line, -1, PREG_SPLIT_NO_EMPTY);
sort($words, SORT_STRING | SORT_FLAG_CASE);
return implode(' ', $words);
}, $lines);
// 步骤2：去重（保留首次出现的原始语义代表——注意：此处去重的是归一化后结果）
$uniqueNormalized = array_unique($normalized);
// 步骤3：还原为原始格式（可选：用第一行原始输入作为代表；此处采用简单映射还原逻辑）
// 更佳实践：构建归一化→原始行的映射，确保输出保持原始可读性（见下方优化说明）
$originalRepresentatives = [];
foreach ($lines as $line) {
$norm = implode(' ',
array_values(
array_sort(preg_split('/\s+/', trim($line), -1, PREG_SPLIT_NO_EMPTY))
)
);
if (!isset($originalRepresentatives[$norm])) {
$originalRepresentatives[$norm] = trim($line);
}
}
$resultLines = array_values($originalRepresentatives);
// 写入结果（每行结尾添加换行符）
file_put_contents('output.txt', implode("\n", $resultLines) . "\n");
?>
⚠️ 关键注意事项：
- 原始答案中的 array_map + array_unique 方案简洁有效，但输出的是归一化后的字符串（如 "bbq beef recipe"），而非原始输入格式。实际应用中，建议采用映射还原法（如上优化代码所示），即用归一化键关联首次出现的原始行，确保输出保持自然语言可读性；
- 单词分割使用 preg_split('/\s+/', ..., PREG_SPLIT_NO_EMPTY) 更鲁棒，可处理多个连续空格、制表符等；
- 排序启用 SORT_FLAG_CASE 避免大小写导致的误判（如 "Beef" 与 "beef"）；
- 若文本含标点（如 "beef, bbq!"），需在 trim() 后增加正则清洗：preg_replace('/[^\p{L}\p{N}\s]/u', '', $line)（需启用 Unicode 支持）；
- 大文件场景下，应避免一次性加载全部内容，可改用流式逐行处理（fgets + SplFileObject）。
总结：语义去重 ≠ 字符串去重。通过「标准化→比对→还原」三步法，PHP 能高效解决关键词级重复问题，显著提升数据质量，适用于 SEO 工具、推荐系统预处理及 NLP 前期清洗等专业场景。
php免费学习视频：立即使用
踏上前端学习之旅，开启通往精通之路！从前端基础到项目实战，循序渐进，一步一个脚印，迈向巅峰！
