首页 >后端开发 >php教程 >爬虫获取AJax数据问题

爬虫获取AJax数据问题

WBOY
WBOY原创
2016-07-06 13:52:211773浏览

想写一个爬取花瓣网图片的爬虫。遇到了Ajax获取数据的问题
爬虫获取AJax数据问题
图片中的请求的URL,Response的文本类型是json
可当我单独访问这个url的时候却是html
爬虫获取AJax数据问题

求教,怎么获取json数据

回复内容:

想写一个爬取花瓣网图片的爬虫。遇到了Ajax获取数据的问题
爬虫获取AJax数据问题
图片中的请求的URL,Response的文本类型是json
可当我单独访问这个url的时候却是html
爬虫获取AJax数据问题

求教,怎么获取json数据

这个是用header来控制的
爬虫获取AJax数据问题

你把对应的请求头加上就好了。附上我的代码

<code>#coding=utf-8

import requests as RQ

hburl = "http://huaban.com/boards/28195582/?ipva9fpx&max=759391397&limit=20&wfl=1"
heads = {
'Host':"huaban.com",
'Referer':"{http://huaban.com/boards/28195582/",
'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36",
'X-Request':"JSON",
'X-Requested-With':"XMLHttpRequest"
}


print RQ.get(hburl, headers=heads).content</code>

Rerferer是一个常见的用来防止网页被本站之外获取的Header,做爬虫时一定要确保Referer的设置

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn