python菜鸟 想做一个简单的爬虫 求教程

Question

python菜鸟 想做一个简单的爬虫 求教程 ps:一般公司做爬虫采集的话常用什么语言

Answer 1

Scrapy是比較好的選擇，相對比較簡單，這裡有入門教學

Answer 2

可以先用一個爬蟲框架實現業務邏輯，如scrapy，然後根據自己的需求，慢慢的替換掉框架。最後，你會發現， 你自己實現了一個爬蟲框架

Answer 3

Python的Scrapy寫爬蟲非常棒，附上我寫的一個非常簡單的福利爬蟲

https://github.com/ZhangBohan/fun_crawler

Answer 4

抓取內容可以使用 urllib/urllib2/requests，推薦requests。
分析內容可以使用 BeautifulSoup，也可以使用正規或暴力的字串解析。

Answer 5

http://cuiqingcai.com/1052.html

最近在學習Python爬蟲，感覺很有趣，真的讓生活可以方便很多。學習過程中我把一些學習的筆記總結下來，還記錄了一些自己實際寫的一些小爬蟲，在這裡跟大家一同分享，希望對Python爬蟲感興趣的童鞋有幫助，如果有機會期待與大家的交流。

一、Python入門

1. Python爬蟲入門一之綜述

2. Python爬蟲入門二之爬蟲基礎了解

3. Python爬蟲入門三之Urllib庫的基本使用

4. Python爬蟲入門四之Urllib庫的高階用法

5. Python爬蟲入門五之URLError異常處理

6. Python爬蟲入門六之Cookie的使用

7. Python爬蟲入門七之正規表示式

二、Python實戰

1. Python爬蟲實戰一之爬取糗事百科段子

2. Python爬蟲實戰二之爬取*

3. Python爬蟲實戰三之計算大學本學期績點

4. Python爬蟲實戰四之抓取淘寶MM照片

5. Python爬蟲實戰五之模擬登入淘寶並取得所有訂單

三、Python進階

1. Python爬蟲進階一之爬蟲框架Scrapy安裝配置

目前暫時是這些文章，隨著學習的進行，會不斷更新噠，敬請期待~

希望對大家有幫助，謝謝！

轉載請註明：靜覓食 » Python爬蟲學習系列教學

Answer 6

如果你只是想要一隻可以工作的蜘蛛
http://segmentfault.com/blog/eric/1190000002543828

Answer 7

https://github.com/binux/pyspider
強大的 WebUI，帶有腳本編輯器、任務監視器、專案管理器和結果檢視器

Answer 8

爬取Konachan上面的動漫圖片，這個是我剛學爬蟲的時候做的，入門看看還湊活

Answer 9

簡單的話可以用：取得網頁可以用beautifulsoup,正則，urllib2,來獲取
深入的話，可以看一些開源框架，比如Python的scrapy等等
也可以看看一些視頻教程，比如極客學院的
一句話，多練。 。 。

Answer 10

這裡有個現有的例子，可以參考一下：
如何爬取大眾點評網路上的商家資訊（有栗子、附程式碼）