网页爬虫 - python处理中文

Question

最近在学习python爬虫，用的scrapy，基本流程都通顺了，但是发现解析页面中文的时候比较头大。

比如抽取到的内容可能含有 《 【 等字符，这个时候怎么处理?

另外，xpath搜索的时候也有可能需要通过中文匹配，怎么破？

Answer 1

정기 매칭을 사용해 보세요.
이 기사를 참조하세요: http://blog.csdn.net/gatieme/article/details/43235791

Answer 2

모든 작업에 utf8을 사용하세요

Answer 3

이런 점에서는 Python3가 python2보다 훨씬 좋습니다. 가능하다면 python3을 사용하는 것이 좋습니다.

Answer 4

크롤링된 문자열에 encode("utf-8") 추가