Python マルチスレッドタスク分散の問題
- WBOYオリジナル
- 2016-12-01 00:56:561167ブラウズ
次に、複数のスレッドを使用して Web サイトのコンテンツをクロールしたいとします。Web サイトのコンテンツには 105 ページがあるとします。ただし、マシンの制限により、クロールできるのは 10 個のスレッドだけです。では、最初のスレッドがページ 1 のクロールを担当できるようにするにはどうすればよいですか。 -10? 2 つのスレッドはページ 11 ～ 20 をキャプチャし、その後 10 番目のスレッドがページ 91 ～ 105 を取得することになります。このアイデアを Python コードにどのように記述する必要がありますか?
返信内容:
次に、複数のスレッドを使用して Web サイトのコンテンツをクロールしたいとします。Web サイトのコンテンツには 105 ページがあるとします。ただし、マシンの制限により、クロールできるのは 10 個のスレッドだけです。では、最初のスレッドがページ 1 のクロールを担当できるようにするにはどうすればよいですか。 -10? 2 つのスレッドはページ 11 ～ 20 をキャプチャし、その後 10 番目のスレッドがページ 91 ～ 105 を取得することになります。このアイデアを Python コードにどのように記述する必要がありますか?
python3
リーリー声明：
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。