Wie bekomme ich die richtige Anzahl von Bewerbern und Zuschauern, wenn Sie auf der Arbeitsplatzseite 58.com kriechen?

58.com Rekrutierungsinformationen Crawling: Lösen Sie das Problem inkonsistenter Daten von Bewerbern und Zuschauern

Wenn Sie auf der Rekrutierungsseite 58.com Crawling auf ein schwieriges Problem stoßen: Die Anzahl der Bewerber und die Anzahl der vom Webseiten angezeigten Zuschauer stimmen nicht mit den auf der Seite angezeigten Daten überein, und der Quellcode wird häufig als 0 angewendet, während die Daten in Echtzeit auf der Seite mit dem Element -Inhalt des Browser -Entwicklungs -Tools (F12) übereinstimmen. In diesem Artikel wird untersucht, wie dieses Problem gelöst und genaue Bewerber und Zuschauer erhalten werden.

Problemanalyse:

Um zu verhindern, dass Daten böswillig gekrabbelt werden, übernahm 58.com die Methode zum dynamischen Laden von Daten. Die Anzahl der Bewerber und Zuschauer auf der Seite wird nicht direkt aus dem HTML -Quellcode erhalten, sondern asynchron über JavaScript geladen. Daher kann der direkte Parsen -HTML -Quellcode nicht die richtigen Daten abrufen.

Lösung:

Um die korrekte Anzahl von Bewerbern und Zuschauern zu erhalten, müssen Sie die von 58.com bereitgestellte API -Schnittstelle finden. Durch die Analyse von Netzwerkanfragen können wir eine API -Schnittstelle zum Erhalten von Rekrutierungsinformationsstatistiken finden, wobei eine URL dem folgenden Format ähnelt:

 <code>https://statisticszp.58.com/position/totalcount/?infoId=27988...</code>

Der infoId -Parameter repräsentiert die spezifische Positions -ID und muss basierend auf der URL der Zielrekrutierungsseite extrahiert werden.

API gibt Datenbeispiel zurück:

Die von der API -Schnittstelle zurückgegebenen JSON -Daten enthält die Informationen, die wir benötigen:

 {
  "DeliveryCount": 1141, // Anzahl der Bewerber "Kommentar": 0,,
  "Infocount": 4, // Anzahl der Zuschauer "Lebensleitungen": 0,,
  "Referenurl": "",
  "Nexturl": "null"
}

Das Feld deliveryCount gibt die Anzahl der Bewerber an, und das infoCount -Feld zeigt die Anzahl der Zuschauer an.

Implementierungsschritte:

1. Get Job ID (Infoid): Analysieren Sie die URL der Zielrekrutierungsseite und finden Sie den Parameterwert, der der Job -ID entspricht. Dies kann die Verwendung regelmäßiger Ausdrücke oder anderer String -Verarbeitungsmethoden erfordern.

2. Konstrukte API -Anforderungs -URL: Ersetzen Sie die extrahierte infoId in die URL -URL -Vorlage für API, um eine vollständige API -Anforderungs -URL zu bilden.

3. Senden Sie API -Anfragen: Verwenden Sie requests von Python oder andere HTTP -Clients, um GET -Anfragen an die API -URL zu senden.

4. Analysieren Sie JSON -Daten: Analysieren Sie die von der API zurückgegebenen JSON -Daten in ein Python -Wörterbuch, extrahieren Sie die Werte von deliveryCount und infoCount , dh die korrekte Anzahl von Bewerbern und die Anzahl der Zuschauer.

In den oben genannten Schritten können Sie den dynamischen Lademechanismus der Webseite von 58.com umgehen und die Anzahl der Bewerber und Zuschauer auf der Rekrutierungsseite genau erhalten. Bitte beachten Sie, dass sich die Adresse und die Parameternamen der API -Schnittstelle ändern können und gemäß den tatsächlichen Bedingungen angepasst werden müssen. Gleichzeitig halten Sie sich bitte an die Regeln von Robots.txt von 58.com, um einen übermäßigen Druck auf den Server zu vermeiden.

Das obige ist der detaillierte Inhalt vonWie bekomme ich die richtige Anzahl von Bewerbern und Zuschauern, wenn Sie auf der Arbeitsplatzseite 58.com kriechen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!