首頁  >  文章  >  後端開發  >  javascript - php抓取网页ajax请求的内容,按F12找到ajax请求的网址后,接下来应该怎么做呢?

javascript - php抓取网页ajax请求的内容,按F12找到ajax请求的网址后,接下来应该怎么做呢?

WBOY
WBOY原創
2016-06-06 20:28:231409瀏覽

用phpcrawl抓取网页,网页中有些内容是要登录后才显示的,按F12找到了ajax请求这部分内容的网址,ajax请求网址格式为:
http://www.*.com/helloworld/ajax.php?id=260&cat=kk&time=1442075455597
每个需要抓取的页面都有一个这样的请求,那么,这个网址应该怎么用呢?

回复内容:

用phpcrawl抓取网页,网页中有些内容是要登录后才显示的,按F12找到了ajax请求这部分内容的网址,ajax请求网址格式为:
http://www.*.com/helloworld/ajax.php?id=260&cat=kk&time=1442075455597
每个需要抓取的页面都有一个这样的请求,那么,这个网址应该怎么用呢?

问号后面就是请求的字段

你可以伪造请求,发送请求时设置header和cookie,将自己的行为伪装成和浏览器一样,然后用爬虫去爬这个地址就行了

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn