首页  >  文章  >  后端开发  >  javascript - php抓取网页ajax请求的内容,按F12找到ajax请求的网址后,接下来应该怎么做呢?

javascript - php抓取网页ajax请求的内容,按F12找到ajax请求的网址后,接下来应该怎么做呢?

WBOY
WBOY原创
2016-06-06 20:28:231362浏览

用phpcrawl抓取网页,网页中有些内容是要登录后才显示的,按F12找到了ajax请求这部分内容的网址,ajax请求网址格式为:
http://www.*.com/helloworld/ajax.php?id=260&cat=kk&time=1442075455597
每个需要抓取的页面都有一个这样的请求,那么,这个网址应该怎么用呢?

回复内容:

用phpcrawl抓取网页,网页中有些内容是要登录后才显示的,按F12找到了ajax请求这部分内容的网址,ajax请求网址格式为:
http://www.*.com/helloworld/ajax.php?id=260&cat=kk&time=1442075455597
每个需要抓取的页面都有一个这样的请求,那么,这个网址应该怎么用呢?

问号后面就是请求的字段

你可以伪造请求,发送请求时设置header和cookie,将自己的行为伪装成和浏览器一样,然后用爬虫去爬这个地址就行了

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn