简单的数据抓取工具
- WBOY原创
- 2016-06-13 12:46:03751浏览
求一个简单的数据抓取工具
我需要的数据如：
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。
本来我想自己写的，把我们要下载的链接拼起来，循环下载，处理一下入库就行了。
另外可以要考虑代理 ，多线程处理。
可是老大非要我去找一个开源的爬虫工具。
工具也要我给它链接，告诉他我要怎么处理这些数据才能工作呀。
没办法，请教大家，有哪个爬虫工具有这样的功能呀，谢谢了。
我只会PHP和简单的python,所以希望尽量是这两个语言写的，再次谢谢。
声明：
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
上一篇： 怎么判断数组里面有多少个相同元素 下一篇： 怎么通过列表中某一个属性来显示具有相同属性的内容