textrank核心逻辑是将文本建模为共现图，以词为节点、窗口内共现为边，通过pagerank迭代计算节点权重来衡量关键词重要性。
TextRank提取关键词的核心逻辑是什么
TextRank不是靠词频统计，而是把文本建模成图：每个词是节点，共现关系（比如窗口内相邻）是边，通过迭代更新节点权重来模拟“重要性传播”。它不依赖词典或语料库，适合小样本或领域新词，但对停用词和分词质量极度敏感。
关键点在于：co-occurrence window（通常设为2–5）决定了哪些词会被连边；weight默认用共现次数，但也可用TF-IDF加权；收敛阈值damp_factor（一般0.85）影响迭代稳定性。
用jieba+networkx手写TextRank的实操步骤
不要直接调用jieba.analyse.textrank——它默认过滤了低频词且不暴露图构建细节，调试时容易卡在“为什么这个词没出来”。建议手动实现，便于控制分词、停用词、窗口大小：
- 先用
jieba.lcut分词，用自定义停用词表过滤（别只用jieba.posseg的词性过滤，动词、形容词常含关键信息） - 构建共现图：遍历每个词，向其后
window_size个词添加无向边，边权重累加（不是二值） - 用
networkx.pagerank计算节点权重，注意传weight='weight'参数，否则默认按1算 - 排序后取top-K，但要排除单字词（除非业务明确需要，如“芯”“链”）
示例片段：
import jieba
import networkx as nx
def textrank_keywords(text, topK=5, window=2):
words = [w for w in jieba.lcut(text) if w not in stopwords and len(w) > 1]
graph = nx.Graph()
for i in range(len(words)):
for j in range(i+1, min(i+window+1, len(words))):
if words[i] != words[j]:
graph.add_edge(words[i], words[j], weight=1)
scores = nx.pagerank(graph, weight='weight')
return sorted(scores.items(), key=lambda x: x[1], reverse=True)[:topK]
为什么结果和jieba内置textrank不一致
常见差异来源有三个：
-
jieba.analyse.textrank默认使用allowPOS=('ns', 'n', 'vn', 'v')，会丢掉形容词、代词等，而手动实现时若未限制词性，可能保留更多候选词 - 内置版本对边权重做了归一化处理，且迭代次数固定为100次；手动实现若用
nx.pagerank默认参数，可能因max_iter=100不足或tol=1e-06过严导致收敛异常 - 内置版本会对相同词干做合并（如“识别”“识别率”），手动实现需额外加
lemmatize或规则映射，否则“模型”和“建模”会被视为两个独立节点
验证方法：打印graph.edges(data=True)和scores字典，对比边数、最大权重、top3节点得分，能快速定位是图构建还是打分环节出问题。
实际项目中必须绕开的坑
短文本（pagerank结果随机性强。此时应退回到TF-IDF或YAKE；长文档则要分段处理，否则窗口滑动会跨语义单元（如把“用户登录”和“数据库崩溃”强行共现）。
- 别在原始中文里直接跑TextRank：未分词就构图，等于把整句当节点，完全失去意义
- 别忽略标点和空格：用
jieba.lcut前先re.sub(r'[^\w\s]', ' ', text)，否则“AI。”和“AI”被视作不同节点 - 慎用
nx.DiGraph：TextRank理论要求无向图，有向边会导致权重单向流动，破坏收敛性
真正难的不是写出算法，而是判断什么时候不该用它——尤其在客服日志、弹幕、工单这类碎片化文本里，共现关系本身就不稳定，强行套TextRank反而掩盖真实关键词。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
