如题描述
因为一些需求想对一份url列表进行get请求扫描,看看这些页面是否存在
平时用的requests模块的get和多进程来实现,感觉还是不够快.于是产生了如题描述的这种想法.
顺便问下,为什么vps提供商会封我...好郁闷.
高洛峰2017-04-18 10:23:17
普段はrequestモジュールのgetやマルチプロセスの実装を使っているのですが、それでも速度が足りないと感じたので、タイトルに記載したアイデアを思いつきました。
さまざまな理由により、GET レスポンスボディを破棄した方が必ずしも高速になるとは限りません。
HEAD が要件を満たしている場合は、HEAD を使用してください。
必ず
を使用すると、同じサーバーへのアクセスが 2 倍以上になる可能性があります。
requests.Session
追記: HTTP について注意深く学習することをお勧めします。そうすれば、問題が発生したときに、質問して待って、最終的に理解できない解決策を得る必要がなくなります。