python - Wie kann ich den Statuscode einer Webseite mit 200 Millionen++ URLs schnell bestätigen?

Question

Ich habe Anfragen verwendet, um einen Multithread zu schreiben, aber es fühlt sich etwas langsam an. Gibt es andere Methoden?

Answer 1

使用 Tornado 的 curl 客户端支持，读到请求头就关闭连接。（我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话，可以像我这样使用 TCP 然后用 http-parser 来解析。）

好吧，其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……（记得装 pycurl 哦）

Answer 2

python本来就慢，想速度快就直接写tcp请求然后读回复，读到状态后就关掉socket。

Answer 3

使用grequests,对requests进行了并发封装

https://github.com/kennethrei...

Answer 4

这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio！

Answer 5

用Head请求能快一点吧？