58.com 작업 페이지에서 실시간 응용 프로그램 및 뷰어 데이터를 얻는 방법은 무엇입니까?

크롤러를 사용하여 58.com 채용 페이지의 실시간 데이터를 얻는 방법은 무엇입니까?

크롤링 58.com의 채용 정보를 크롤링 할 때 종종 문제가 발생합니다. 페이지에 표시되는 지원자 및 시청자의 수는 실시간으로 업데이트되지만 웹 페이지의 소스 코드는 0으로 표시됩니다. 그러나 브라우저 개발자 도구 (F12)의 요소 패널은 올바른 데이터를 표시합니다. 58.com은 Ajax 기술을 사용하여 데이터를 비동기로로드하기 때문입니다. 이 기사에서는이 동적 데이터를 얻는 방법을 안내합니다.

문제 분석

예를 들어 베이징에서 의료 위치를 취하면이 페이지에는 신청자와 시청자의 수가 실시간으로 표시되지만 소스 코드의 데이터는 항상 0이며 F12의 요소 패널 데이터는 페이지와 일치합니다. 소스 코드에서 직접 데이터를 추출하는 것은 작동하지 않습니다.

해결책

페이지 데이터는 AJAX 요청을 통해 비동기 적으로로드되며 이러한 요청에 대한 JSON 데이터를 찾아 가져와야합니다.

분석 후 58.com은 특정 API 인터페이스를 사용하여 이러한 데이터를 제공합니다. 예를 들어:

 <code>https://statisticszp.58.com/position/totalcount/?infoId=27988...</code>

이 인터페이스는 예를 들어 JSON 데이터를 반환합니다.

 {
  "DeliveryCount": 1141,
  "CommentCount": 0,
  "Infocount": 4,
  "REUSUMEREDPERCENT": 0,
  "추천": "",
  "NextUrl": "null"
}

"deliveryCount" 은 지원자 수를 나타내고 "infoCount" 방문자 수를 나타냅니다.

작동 단계

1. AJAX 요청 포지셔닝 : 브라우저 개발자 도구 (F12)를 사용하여 네트워크 패널에서 Page Dynamic Data와 관련된 AJAX 요청을 찾으십시오.
2. API 요청 보내기 : Crawler 도구 (예 : Python의 requests 라이브러리)를 사용하여 위의 API 인터페이스에 요청을 보내십시오.
3. JSON 데이터 분석 : 반환 된 JSON 데이터에서 "deliveryCount" 및 "infoCount" 필드를 추출합니다.

위의 단계를 통해 58.com 채용 페이지의 실시간 응용 프로그램 및 뷰어 데이터를 성공적으로 얻을 수 있습니다. infoId 매개 변수는 대상 모집 페이지에 따라 교체해야합니다. 서버에 과도한 압력을 피하려면 크롤링 주파수를 제어하십시오.

위 내용은 58.com 작업 페이지에서 실시간 응용 프로그램 및 뷰어 데이터를 얻는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!