Python - 2億++のURLを持つWebページのステータスコードを素早く確認するには?

Question

リクエストを使ってマルチスレッドを書いたのですが、少し遅い気がします。他に方法はありますか？

Answer 1

Tornado の CURL クライアント サポートを使用して、リクエスト ヘッダーを読み取った後に接続を閉じます。 (私はまだ試していません。提供する HTTP クライアントが接続の途中で閉じることをサポートしていない場合は、TCP を使用し、http-parser を使用して私がやったように解析できます。)

実際には、fetchtitle に拡張機能を追加するだけでステータス コードを取得できます... (pycurl をインストールすることを忘れないでください)

Answer 2

Python は本質的に遅いので、高速にしたい場合は、TCP リクエストを直接書いて、ステータスを読んだ後、ソケットを閉じてください。

Answer 3

grequests を使用すると、リクエストは同時にカプセル化されます

https://github.com/kennethrei...

Answer 4

この場合、gevent、tornado、scrapy-redis、asyncio の使用を検討できます。

Answer 5

Headを使用してリクエストすると早くなりますか?