如何安全截断文本中未完成的句子-php教程-PHP中文网

如何安全截断文本中未完成的句子

本文介绍一种实用的 php 方法，用于检测并移除文本末尾不完整的句子——即未以句号、感叹号、问号或冒号结尾的残缺句，确保输出文本语义完整、格式规范。

本文介绍一种实用的 php 方法，用于检测并移除文本末尾不完整的句子——即未以句号、感叹号、问号或冒号结尾的残缺句，确保输出文本语义完整、格式规范。

在处理用户生成内容、API 响应流式截断、或大模型输出（如 LLM 的 token 限制导致的中途终止）时，常遇到文本在句中戛然而止的情况，例如：
"That means that the universe has been getting bigger for a very long time and"
这种残留片段不仅影响可读性，还可能干扰后续 NLP 处理（如分句、摘要、情感分析）。虽然无法 100% 精确还原原意（因英文中存在缩写如 e.g.、IP 地址 192.168.1.1、小数 3.14 等干扰项），但可通过「标点+空格」这一高概率语言习惯实现稳健裁剪。

核心思路是：定位最后一个合法句末标点（. ! ? :）及其后的空格，并截取至此位置（含标点）。注意，我们要求标点后紧跟空格（或换行/结尾），以区分中间标点；同时需预处理去除首尾空白，避免误判。

以下是推荐的健壮实现（兼容多行、混合空白、UTF-8 安全）：

function removeTruncatedSentence(string $text): string
{
    $text = trim($text);
    if ($text === '') {
        return '';
    }

    // 在末尾临时添加空格，统一处理「标点+空格」模式
    $textWithSpace = $text . ' ';

    // 查找最后出现的「标点 + 空格」组合（支持 \s 匹配任意空白符：空格、制表、换行）
    $lastPos = -1;
    foreach (['. ', '! ', '? ', ': '] as $pattern) {
        $pos = strrpos($textWithSpace, $pattern);
        if ($pos !== false && $pos > $lastPos) {
            $lastPos = $pos;
        }
    }

    // 若找到合法结尾，则截取到该标点（包含标点本身，不含后续空格）
    if ($lastPos !== -1) {
        return rtrim(substr($textWithSpace, 0, $lastPos + 1));
    }

    // 未找到任何合法结尾 → 整段不完整，返回空字符串（或按需保留原样）
    return '';
}

// 使用示例
$rawText = "But even though the universe is incredibly large, it's also expanding.\nSo it's actually getting bigger every day. Scientists believe that the universe started with a\nbig bang 13.8 billion years ago and has been expanding ever since. That means that the universe has \nbeen getting bigger for a very long time and";

echo removeTruncatedSentence($rawText);
// 输出：
// But even though the universe is incredibly large, it's also expanding.
// So it's actually getting bigger every day. Scientists believe that the universe started with a
// big bang 13.8 billion years ago and has been expanding ever since.

✅ 关键优化说明：