Home  >  Article  >  Backend Development  >  javascript - php抓取网页ajax请求的内容,按F12找到ajax请求的网址后,接下来应该怎么做呢?

javascript - php抓取网页ajax请求的内容,按F12找到ajax请求的网址后,接下来应该怎么做呢?

WBOY
WBOYOriginal
2016-06-06 20:28:231408browse

用phpcrawl抓取网页,网页中有些内容是要登录后才显示的,按F12找到了ajax请求这部分内容的网址,ajax请求网址格式为:
http://www.*.com/helloworld/ajax.php?id=260&cat=kk&time=1442075455597
每个需要抓取的页面都有一个这样的请求,那么,这个网址应该怎么用呢?

回复内容:

用phpcrawl抓取网页,网页中有些内容是要登录后才显示的,按F12找到了ajax请求这部分内容的网址,ajax请求网址格式为:
http://www.*.com/helloworld/ajax.php?id=260&cat=kk&time=1442075455597
每个需要抓取的页面都有一个这样的请求,那么,这个网址应该怎么用呢?

问号后面就是请求的字段

你可以伪造请求,发送请求时设置header和cookie,将自己的行为伪装成和浏览器一样,然后用爬虫去爬这个地址就行了

Statement:
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn