Home >Backend Development >PHP Tutorial >求一个简单的数据抓取工具

求一个简单的数据抓取工具

WBOY
WBOYOriginal
2016-06-23 14:10:191001browse

我需要的数据如:
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。

本来我想自己写的,把我们要下载的链接拼起来,循环下载,处理一下入库就行了。
另外可以要考虑代理 ,多线程处理。

可是老大非要我去找一个开源的爬虫工具。
工具也要我给它链接,告诉他我要怎么处理这些数据才能工作呀。
没办法,请教大家,有哪个爬虫工具有这样的功能呀,谢谢了。
我只会PHP和简单的python,所以希望尽量是这两个语言写的,再次谢谢。


回复讨论(解决方案)

找个开源的还是得改成你需要的,到麻烦。php的curl就可以,支持代理。
python的话socket挺好的,而且多线程的话threading处理非常方便。
自己写呗~

东西做好 然后告诉他 这个就是最好的工具

Statement:
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn