python - 现在用scrapy爬一个网站始终遇到521错误，是怎么回事呢？

Question

www.cnvd.org.cn是个很奇怪的网站，如过你用浏览器访问时正常的，但是如果用http请求就会出现各种错。比如：
wget http://www.cnvd.org.cn 返回：
--2016-08-26 20:37:00-- http://www.cnvd.org.cn/
Resolving www.cnvd.org.cn (www.cnvd.org.cn)... 113.200.91.208, 42.48.109.207
Connecting to www.cnvd.org.cn (www.cnvd.org.cn)|113.200.91.208|:80... connected.
HTTP request sent, awaiting response... 521
2016-08-26 20:37:00 ERROR 521: (no description).
如果用curl执行则会返回一段JS代码
js也研究了下。是动态设置cookie的。
一个月前整站已经被扒下来了，最近发现没有增加数据量才知道爬虫被ban了，前段时间调试的时候将浏览器的请求头全部复制到爬虫中科院正常运行，但是这两天此方法已经失效。。。
请大家给我个思路，感觉瞬间没爱了！

Answer 1

クローラーが Web サイトによって検出されている必要があります。ヘッダーが機能していない場合は、IP またはアカウントによって制限されているかどうかを確認することしかできません。ログインする必要がない場合は、まず IP を変更してみてください。正常かどうかを確認するか、クローラーサーバーに直接手動でアクセスして成功したかどうかを確認します

------更新------

質問者様のご希望により、テストコードを掲載しました。 Cookieの有効期限については、手動でアクセスして取得したものです。質問者が理解できない場合は、よく見てください。

リーリー

お役に立てば幸いです

Answer 2

友人、私も最近このウェブサイトを閲覧しているので、いくつか意見を述べたいと思います。ぜひご覧ください。コミュニケーションをとりたい方は、私を友達として追加してください。
cnvd は通常の状況でも登ることができます。

www.cnvd.org.cn は非常に不快なもので、多くの人が 521 に注目しています。

リーリー