クライアントIPを使用して分散クローラを実装する方法

サーバー側のクローラーを使用する場合、Web ページを開くときに訪問者の IP を使用してクロールされた Web サイトにアクセスし、データをアップロードするにはどうすればよいでしょうか? Ajax はクロールされたデータを取得して、それを独自のサーバーに送信しますか?

同様の例やオープンソース プロジェクトはありますか?

返信内容:

サーバー側のクローラーを使用する場合、Web ページを開くときに訪問者の IP を使用してクロールされた Web サイトにアクセスし、データをアップロードするにはどうすればよいでしょうか? Ajax はクロールされたデータを取得して、それを独自のサーバーに送信しますか?

同様の例やオープンソース プロジェクトはありますか?

ユーザーのプライバシーを盗んでいるので、うまくいきません~

基本原則は、非表示の iframe を作成し、リクエストが成功した後、ajax を使用してローカル サーバーに保存することです。 。多くの Web サイトではクロール対策戦略が実装されているため、サーバー側のクローラーが失敗することがよくあります。この場合、クライアント側のクローラーを使用すると非常に便利です。

ただし、ユーザーエクスペリエンスはあまり良くありません。 。 。 。