Maison  >  Article  >  développement back-end  >  javascript - php抓取网页ajax请求的内容,按F12找到ajax请求的网址后,接下来应该怎么做呢?

javascript - php抓取网页ajax请求的内容,按F12找到ajax请求的网址后,接下来应该怎么做呢?

WBOY
WBOYoriginal
2016-06-06 20:28:231364parcourir

用phpcrawl抓取网页,网页中有些内容是要登录后才显示的,按F12找到了ajax请求这部分内容的网址,ajax请求网址格式为:
http://www.*.com/helloworld/ajax.php?id=260&cat=kk&time=1442075455597
每个需要抓取的页面都有一个这样的请求,那么,这个网址应该怎么用呢?

回复内容:

用phpcrawl抓取网页,网页中有些内容是要登录后才显示的,按F12找到了ajax请求这部分内容的网址,ajax请求网址格式为:
http://www.*.com/helloworld/ajax.php?id=260&cat=kk&time=1442075455597
每个需要抓取的页面都有一个这样的请求,那么,这个网址应该怎么用呢?

问号后面就是请求的字段

你可以伪造请求,发送请求时设置header和cookie,将自己的行为伪装成和浏览器一样,然后用爬虫去爬这个地址就行了

Déclaration:
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn