C#需借助Jieba.NET等外部库实现中文分词，因String.Split()和Regex.Split()无法处理中文语义切分；推荐Jieba.NET，支持精确模式Cut()和搜索模式CutForSearch()，需注意编码、停用词过滤、自定义词典加载及单例使用。
分词前先明确：C# 本身不内置中文分词能力
直接调用 String.Split() 或正则 Regex.Split() 只能按空格、标点硬切，对中文完全无效——“人工智能”会被当成一个词，无法拆成“人工”“智能”或“人工智能”“AI”等多粒度结果。真要分词，必须引入外部词典或模型。
用 IKAnalyzer.NET 或 Jieba.NET 做轻量级中文分词
推荐 Jieba.NET（.NET Standard 2.0+ 兼容，无 Java 依赖），它复刻 Python jieba 的核心逻辑，开箱即用，适合索引前预处理场景。
- 安装：
dotnet add package JiebaNet.Segmenter - 基础用法：
var seg = new JiebaSegmenter(); var words = seg.Cut("自然语言处理很有趣");返回IEnumerable - 注意
Cut()默认是精确模式；需要新词识别或搜索优化，改用CutForSearch()（会做更细粒度切分） - 避免在循环里反复 new
JiebaSegmenter——它是线程安全的，全局单例即可
文件读取 + 分词 + 去噪的典型流水线
索引前分词不是只切词，还要过滤停用词、数字、过短词（如“的”“了”）、纯空白，否则倒排索引体积膨胀、查询噪音大。
- 用
File.ReadAllText(path, Encoding.UTF8)读文件，别用ReadAllLines再拼接——换行符干扰分词 - 分词后建议用
words.Where(w => w.Length >= 2 && !stopWords.Contains(w))过滤，stopWords自己维护一个HashSet - 别在分词后立刻转
ToLower()——中文没大小写，但混合英文时可能需统一，视业务定 - 性能敏感场景：把停用词集合声明为
static readonly，避免每次重建
遇到“分词结果和预期不符”时优先查这三处
不是模型不准，大概率是输入或配置没对上。
- 文件编码不是 UTF-8：用
File.ReadAllBytes()看前几个字节，确认 BOM 是否存在；错误编码会导致乱码，分词器直接返回空或单字 - 词典未加载自定义词：如果“特斯拉”总被切成“特 斯 拉”，需调用
seg.LoadUserDict("userdict.txt")，每行一个词，格式为特斯拉 100 nz（词、频次、词性） - 用了
Cut()却期待搜索粒度：比如想搜“人工”，但Cut()只输出“人工智能”，这时必须换CutForSearch()
分词本身不难，难的是让结果稳定适配你的索引结构——比如要不要保留标点、是否合并同义词、怎么处理中英文混排。这些细节不在分词库文档里，得靠你对着样本文件反复比对输出。
