Web クローラー - Python のマルチプロセスでリクエストを連携する方法

Question

これは、単一プロセスを順次実行するためのコードです:

リーリー

これはマルチプロセスのコードです:

リーリー

しかし、単一プロセスとマルチプロセスで費やされる時間にはほとんど違いはありません。問題はおそらくリクエストが IO をブロックしていることです。理解は正しいですか?マルチプロセスの目的を達成するにはコードをどのように変更すればよいですか? ＃＃＃＃＃＃ありがとう！

Answer 1

ファイルの書き込みのボトルネックは CPU ではなくディスク IO です。並列処理はあまり影響しません。ファイルの書き込みを行わずに時間を比較することもできます。

Answer 2

パラメータのないプールは
os.cpu_count()または1を使用します
シングルコアCPUの場合、または数が収集できない場合は、プロセスは1つだけです。

それが理由のはずです。