python - 2億++的網址，怎麼快速確認網頁狀態碼?

Question

用requests寫了個多線程，感覺有點慢，還有其他方法麼？

Answer 1

使用 Tornado 的 curl 用戶端支持，讀到請求頭就關閉連線。 （我還沒試過。如果它提供的 HTTP 用戶端不支援中途關閉連線的話，可以像我這樣使用 TCP 然後用 http-parser 來解析。）

好吧，其實你可以直接給 fetchtitle 加個取狀態碼的擴充就可以了…（記得裝 pycurl 哦）

Answer 2

python本來就慢，想速度快就直接寫tcp請求然後讀回复，讀到狀態後就關掉socket。

Answer 3

使用grequests,對requests進行了並發封裝

https://github.com/kennethrei...

Answer 4

這種情況可以考慮使用gevent,tornado,scrapy-redis,asyncio！

Answer 5

用Head請求能快一點吧？