58.comの作業ページをrawったときに、適切な数の申請者と視聴者を取得するにはどうすればよいですか？

58.com募集情報クロール：申請者と視聴者の一貫性のないデータの問題を解決する

58.comの採用ページをrawった場合、困難な問題に遭遇することがよくあります。応募者の数とWebページソースコードによって表示される視聴者の数は、ページに実際に表示されるデータと一致せず、ソースコードは0として表示されることがよくありますが、ページで実際に更新されるデータは、Browser Developer Tool（F12）の要素コンテンツと一致します。この記事では、この問題を解決し、正確な応募者と視聴者を獲得する方法について説明します。

問題分析：

データが悪意を持ってクロールされるのを防ぐために、58.comはデータを動的にロードする方法を採用しました。ページ上の申請者と視聴者の数は、HTMLソースコードから直接取得されるのではなく、JavaScriptを介して非同期にロードされます。したがって、直接解析HTMLソースコードは正しいデータを取得できません。

解決：

適切な数の申請者と視聴者を取得するには、58.comが提供するAPIインターフェイスを見つける必要があります。ネットワークリクエストを分析することにより、次の形式と同様のURLを使用して、採用情報統計を取得するためのAPIインターフェイスを見つけることができます。

 <code>https://statisticszp.58.com/position/totalcount/?infoId=27988...</code>

infoIdパラメーターは特定の位置IDを表し、ターゲットリクルートメントページのURLに基​​づいて抽出する必要があります。

APIはデータを返します例：

APIインターフェイスによって返されるJSONデータには、必要な情報が含まれています。

 {
  「DeliveryCount」：1141、//申請者の数「コメントカウント」：0、
  「InfoCount」：4、//視聴者の数 "Resumereadpercent"：0、
  "rebryll"： ""、
  「nexturl」：「null」
}

deliveryCountフィールドは、申請者の数を示し、 infoCountフィールドは視聴者の数を示します。

実装手順：

1. Get Job ID（Infoid）：ターゲットリクルートメントページのURLを分析し、ジョブIDに対応するパラメーター値を見つけます。これには、正規表現またはその他の文字列処理方法の使用が必要になる場合があります。

2. API要求URLを構築します：抽出されたinfoIdをAPI URLテンプレートに置き換えて、完全なAPIリクエストURLを形成します。

3. APIリクエストの送信： Pythonのrequestsライブラリまたは他のHTTPクライアントを使用して、API URLにGet Requestsを送信します。

4. JSONデータの分析： APIによって返されたJSONデータをPython辞書に解析し、 deliveryCountとinfoCountの値を抽出します。つまり、適切な数の申請者と視聴者の数を抽出します。

上記の手順を通じて、58.comのWebページの動的読み込みメカニズムをバイパスし、採用ページで申請者と視聴者の数を正確に取得できます。 APIインターフェイスのアドレスとパラメーター名は変更され、実際の条件に応じて調整する必要があることに注意してください。同時に、58.comのrobots.txtルールを遵守して、サーバーへの過度の圧力を避けてください。

以上が58.comの作業ページをrawったときに、適切な数の申請者と視聴者を取得するにはどうすればよいですか？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。