python菜鸟 想做一个简单的爬虫 求教程

Question

python菜鸟 想做一个简单的爬虫 求教程 ps:一般公司做爬虫采集的话常用什么语言

Answer 1

Scrapy是比较好的选择，相对比较简单，这里有入门教程

Answer 2

可以先用一个爬虫框架实现业务逻辑，如scrapy，然后根据自己的需求，慢慢的替换掉框架。最后，你就会发现， 你自己实现了一个爬虫框架

Answer 3

Python的Scrapy写爬虫非常棒，附上我写的一个非常简单的福利爬虫

https://github.com/ZhangBohan/fun_crawler

Answer 4

抓取内容可以使用 urllib/urllib2/requests，推荐requests。
分析内容可以使用 BeautifulSoup，也可以使用正则或者暴力的字符串解析。

Answer 5

http://cuiqingcai.com/1052.html

最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Python爬虫感兴趣的童鞋有帮助，如果有机会期待与大家的交流。

一、Python入门

1. Python爬虫入门一之综述

2. Python爬虫入门二之爬虫基础了解

3. Python爬虫入门三之Urllib库的基本使用

4. Python爬虫入门四之Urllib库的高级用法

5. Python爬虫入门五之URLError异常处理

6. Python爬虫入门六之Cookie的使用

7. Python爬虫入门七之正则表达式

二、Python实战

1. Python爬虫实战一之爬取糗事百科段子

2. Python爬虫实战二之爬取*

3. Python爬虫实战三之计算大学本学期绩点

4. Python爬虫实战四之抓取淘宝MM照片

5. Python爬虫实战五之模拟登录淘宝并获取所有订单

三、Python进阶

1. Python爬虫进阶一之爬虫框架Scrapy安装配置

目前暂时是这些文章，随着学习的进行，会不断更新哒，敬请期待~

希望对大家有所帮助，谢谢！

转载请注明：静觅 » Python爬虫学习系列教程

Answer 6

If you just want a spider that works
http://segmentfault.com/blog/eric/1190000002543828

Answer 7

https://github.com/binux/pyspider
Powerful WebUI with script editor, task monitor, project manager and result viewer

Answer 8

爬取Konachan上面的动漫图片，这个是我刚学爬虫的时候做的，入门看看还凑活

Answer 9

简单的话可以用：获取网页可以用beautifulsoup,正则，urllib2,来获取
深入的话，可以看一些开源框架，比如Python的scrapy等等
也可以看看一些视频教程，比如极客学院的
一句话，多练。。。

Answer 10

这里有个现有的例子，你可以参考一下：
如何爬取大众点评网上的商家信息（有栗子、附代码）