如题描述
因为一些需求想对一份url列表进行get请求扫描,看看这些页面是否存在
平时用的requests模块的get和多进程来实现,感觉还是不够快.于是产生了如题描述的这种想法.
顺便问下,为什么vps提供商会封我...好郁闷.
高洛峰2017-04-18 10:23:17
平時用的requests模組的get和多進程來實現,感覺還是不夠快.於是產生瞭如題描述的這種想法.
取決於多種原因,你丟棄 GET 的響應體不一定會更快。
如果 HEAD 符合你的要求,你就用 HEAD 吧。
記得使用 requests.Session
,這樣對同一台伺服器的存取可以加速一倍以上。
PS: 建議好好學習 HTTP,這樣遇到問題就不需要來問然後等著,最後拿到一個自己都不明白的解決方案。