Go's Crawler Collyのキュースレッドの問題は何ですか？

Go Crawler Collyのリクエストキューとスレッドの同時性：詳細な議論

GoのColly Crawler Libraryを使用する場合、リクエストキューとスレッドの並行メカニズムを理解することが重要です。この記事では、Collyのキュースレッドの数とリクエスト遅延の相互作用を分析し、「Go Crawler Collyのキュースレッドの問題？」と答えます。

例を使用して説明します。キュースレッドカウントを2に設定し、 q, _ := queue.New(2, storage)を使用してキューを作成し、3つのリクエストを追加します。効果を観察するには、コレクターの遅延を5秒に設定します。直感的には、両方のリクエストをほぼ同時に発行し、5秒後に返送する必要があります。 3番目の要求は10秒後に実行されます。

ただし、実際の結果は異なります。

1. 2つのリクエストが作成されます。
2. 5秒後、最初のリクエストが返されます。
3. 3番目のリクエストが作成されます。
4. さらに5秒後、2番目の要求が返されます。
5. さらに5秒後、3番目の要求が返されます。

これは、Collyのコレクターがリクエストを処理すると、キューの全体的な状況を考慮しますが、リクエスト自体の遅延が実際の実行時間に影響することを示しています。キュースレッドの数は同時リクエストの数を制限しますが、リクエストが設定されている場合、遅延はスレッド数の同時制限効果をオーバーライドします。各リクエストは、実際の並列で処理されるのではなく、前のリクエストが完了してからさらに5秒後に延期されます。

リクエストが発行されたときではなく、リクエストが作成されたときに、CollyのOnRequestコールバック関数が起動されます。これは、要求発行の時間を制御するのではなく、主にリクエスト発行前の前処理に使用されます。実際のリクエストの発行時間は、コレクターの遅延設定によって決定されます。

したがって、リクエストが遅延するように設定されている場合、Colly Queueのスレッドの数は並行性にほとんど影響を与えず、リクエストの順序と時間は主にコレクターの遅延設定によって制御されます。これにより、Collyのキューメカニズムと並行性制御をより明確に理解することができます。

以上がGo's Crawler Collyのキュースレッドの問題は何ですか？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。