search

Home  >  Q&A  >  body text

python爬虫 - Python:网页爬取Ajax地址,结果与浏览器显示的不一致?

1.我用在火狐上获取的Ajax地址来爬取统计局的信息:

获取的地址如下;

http://data.stats.gov.cn/easy...{"wdcode":"zb","valuecode":"A0201"}]&dfwds=[{"wdcode":"sj","valuecode":"199807"}]

我的理解是地址中包含了两个参数:"A0201"和"199807"
可以通过改变着两个参数来获取不同表中不同时间的信息
我在浏览器中直接输入地址
参数为"199807"时显示结果为:

参数为"199907"时显示结果为:

证明应该是行得通的

但是当我用这个地址去爬虫时爬下来的结果却不是浏览器上看到的这些数据,应该是爬取到了别的表里的数据,但是我的参数不是已经设置好了吗?在浏览器也证明参数是有效的,但是为什么就是爬不到这些数据?是不是网页缓存方面出现了问题?应该如何解决呢?劳烦大神指教

黄舟黄舟2787 days ago529

reply all(1)I'll reply

  • PHP中文网

    PHP中文网2017-04-18 10:34:19

    The server can verify your cookie and exclude you, or return other error data to you. You can copy it from the browser and forge the cookie and put it in the request header.

    reply
    0
  • Cancelreply