爬虫文本需清洗后输入HuggingFace模型：先统一空白符、strip、过滤emoji，再显式设置truncation和device；优先选用中文情感专用模型，配合批处理与轻量缓存提升效率。
爬虫拿到文本后怎么直接喂给 HuggingFace 模型
不能把原始 HTML 或乱码字符串直接传给 pipeline，得先清洗。常见错误是没做 strip() 和空格归一化，导致模型把“\n\n 太差了 ”识别成带换行符的 token，影响 tokenizer 切分；更隐蔽的是没处理 Unicode 空格（如 \u200b）或广告插入的零宽字符，会触发 tokenization 异常或静默截断。
实操建议：
- 用
re.sub(r'[\s\u200b-\u200f\u2028-\u202f]+', ' ', text)统一空白符，再.strip() - 对微博、小红书等平台，额外过滤 emoji（
emoji.demojize(text)或正则[\U0001F600-\U0001F64F\U0001F300-\U0001F5FF…]）——部分中文情感模型未在 emoji 上 fine-tune，易误判 - 单条文本超长时别硬塞：HuggingFace 默认
max_length=512，超出会静默截断，应显式设truncation=True, max_length=512
用 pipeline 还是手动 model.forward()
实时分析场景下，pipeline 看似方便，但默认启用 framework='pt' + device='cpu'，吞吐量极低；而手动调用容易漏掉 tokenizer 的 return_tensors='pt' 和 to(device)，导致 RuntimeError: Expected all tensors to be on the same device。
实操建议：
- 首次加载模型时固定设备：
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') - 用
pipeline可以，但必须重写初始化：pipe = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer, device=device, return_all_scores=True) - 高并发或低延迟要求（如每秒 >10 条），改用手动流程：先
inputs = tokenizer(texts, truncation=True, padding=True, max_length=512, return_tensors='pt').to(device)，再outputs = model(**inputs)，最后torch.nn.functional.softmax(outputs.logits, dim=-1)
中文情感模型选哪个？别直接用英文 base
用 distilbert-base-uncased-finetuned-sst-2-english 分析中文评论，准确率可能低于 50%——不是模型差，是词表和预训练语料完全不匹配。HuggingFace 中文情感专用模型不多，且命名混乱，容易选错。
实操建议：
- 优先选明确标注“Chinese”+“sentiment”的模型，例如：
uer/roberta-finetuned-jd-binary-chinese（电商评论）、ckiplab/bert-base-chinese+ 自己微调（需标注数据） - 避开名字带 “multilingual” 但实际只在 WikiAnn 上训过的模型（如
bert-base-multilingual-cased），它对中文短评泛化差 - 验证方式简单：拿 5 条真实评论（含“一般”“还行”“绝了”“无语”“太水了”）跑一遍，看输出概率是否合理；若所有结果都集中在 0.5±0.1，基本可判定模型不适用
爬虫与模型之间要不要加缓存和批处理
不做批处理，每来一条请求就跑一次 tokenizer → model → softmax，GPU 利用率常年低于 10%，CPU 反而因反复加载 tensor 占满；但全量缓存又容易内存溢出，尤其用 roberta-large 时单条 embedding 就占 1.5GB 显存。
实操建议：
- 用
queue.Queue(maxsize=100)做简易缓冲，攒够 8–16 条再统一 forward（tokenizer支持 batch 输入，速度提升 3–5 倍） - 缓存只存原始文本 + 时间戳，别缓存 logits 或 softmax 结果——不同业务可能需要不同阈值（如“正面”定义为 >0.7 还是 >0.8）
- 加个简单去重：对清洗后文本做
hashlib.md5(text.encode()).hexdigest()[:8]，10 分钟内相同 hash 跳过推理，防爬虫重试风暴
真正卡点不在模型加载或 API 调用，而在 tokenizer 对中文标点和网络用语的切分一致性——比如“yyds”在不同 tokenizer 里可能是单 token 也可能是 y+y+d+s，这直接影响最终 score。上线前务必拿真实弹幕/评论样本跑端到端验证，别只测 hello world。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
