Home  >  Article  >  Backend Development  >  PHP 使用curl抓取启用了viewstate的网站问题

PHP 使用curl抓取启用了viewstate的网站问题

WBOY
WBOYOriginal
2016-06-06 20:24:081071browse

请问此类网站抓取内容时,和没开启viewstate有何区别?
现在是不清楚抓取开启viewstate的网站的正确步骤,请大神指导

回复内容:

请问此类网站抓取内容时,和没开启viewstate有何区别?
现在是不清楚抓取开启viewstate的网站的正确步骤,请大神指导

正好做过这个,我来说说我的解决办法。

首先,你需要明白你要做什么,告诉服务器你的身份,许多ASP.NET都会有_viewstate这个超长的字符串。它在服务器端会进行验证.那么,你在构造request的时候,必须获得这个viewstate。其实很简单:
1 首先请求url,保存cookie,此时你能拿到这个page的data,用正则匹配到hidden的viewstate保存。
2 携带cookie请求验证码(如果有),拿到后解析验证码(人工或者机器识别)
3 携带cookie和登陆凭据模拟登陆

记住一点,viewstate是对同一个cookie有效的,也就是说,你如果在网页打开,copy下来那个字符串的,它将仍旧无法工作,除非你连同cookie都copy下来。

需要注意的是,有些参数是js自动生成的,譬如我遇到的,讲验证码用某个js加密后,作为一个hidden,你在普通的抓取回来的page里面,无法看到,这时候,你得自己实现这个加密过程。保证在同一个cookie的环境下,把服务器需要的所有数据全部提供就可以成功!

Statement:
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn