網頁爬蟲 - Python爬蟲入門知識

Question

本人快大二了，自習了Python，文法基本上會。想學下爬蟲，但是感覺這牽涉到好多知識啊，有沒有過來人總結下都有什麼知識，或者Python爬蟲該怎麼學？

Answer 1

爬蟲學習要從需求學習，你看網路上那麼多初級爬蟲都是爬些什麼段子，美女圖什麼的，三天就能搞定這些簡單的爬蟲。

但是深入的話就是很難的，牽涉到的方面也很多。

入門不是什麼難事，可以看下這個--
如何學習Python爬蟲[入門篇] https://zhuanlan.zhihu.com/p/...

Answer 2

原理上就是http請求,再多一點就是session和cookie，再多就是驗證碼識別。
工具上就是請求工具可以用urllib2，更好是request函式庫，請求過來要解析，那就是beautifulsoup。

Python 基礎教學 | 菜鳥教學 http://www.runoob.com/python/...

Beautiful Soup 4.2.0 文件 — Beautiful Soup 4.2.0 documentation https://www.crummy.com/softwa...

爬蟲效能：NodeJs VS Python - QueenKing - SegmentFault /a/11...

用KNN來進行驗證碼識別 - QueenKing - SegmentFault /a/11...

Answer 3

可以參考 Python-Scrapy 爬蟲框架，這有中文手冊。