58.com作業ページでリアルタイムアプリケーションと視聴者のデータを取得する方法は？

クローラーを使用して、58.com Recruitmentページのリアルタイムデータを取得するにはどうすればよいですか？

58.comの採用情報をクロールすると、問題が発生することがよくあります。ページに表示される申請者と視聴者の数はリアルタイムで更新されますが、Webページのソースコードは0として表示されますが、ブラウザー開発者ツール（F12）の要素パネルは正しいデータを表示します。これは、58.comがAjaxテクノロジーを使用してデータを非同期にロードするためです。この記事では、この動的データを取得する方法について説明します。

問題分析

北京の医療職を取り入れる例として、ページには応募者と視聴者の数がリアルタイムで表示されますが、ソースコードのデータは常に0であり、F12の要素パネルデータはページと一致しています。ソースコードから直接データを抽出することは機能しません。

解決

ページデータはAjaxリクエストを介して非同期にロードされており、これらのリクエストのJSONデータを見つけて取得する必要があります。

分析後、58.comは特定のAPIインターフェイスを使用してこれらのデータを提供します。例えば：

 <code>https://statisticszp.58.com/position/totalcount/?infoId=27988...</code>

このインターフェイスは、JSONデータを返します。たとえば、

 {
  「DeliveryCount」：1141、
  「commentcount」：0、
  「InfoCount」：4、
  「resumereadpercent」：0、
  "rebryll"： ""、
  「nexturl」：「null」
}

"deliveryCount"は応募者の数を表し、 "infoCount"訪問者の数を表します。

操作手順

1. AJAXリクエストの配置：ブラウザ開発者ツール（F12）を使用して、ネットワークパネルのページダイナミックデータに関連するAJAX要求を見つけます。
2. APIリクエストの送信： Crawler Tools（Pythonのrequestsライブラリなど）を使用して、上記のAPIインターフェイスにGet Requestsを送信します。
3. JSONデータの分析：返されたJSONデータから"deliveryCount"および"infoCount"フィールドを抽出します。これは、リアルタイムで応募者と視聴者の数です。

上記の手順を通じて、58.com Recruitmentページのリアルタイムアプリケーションと視聴者のデータを正常に取得できます。 infoIdパラメーターは、ターゲットリクルートメントページに従って置き換える必要があることに注意してください。サーバーへの過度の圧力を避けるために、rawう頻度を制御してください。

以上が58.com作業ページでリアルタイムアプリケーションと視聴者のデータを取得する方法は？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。