Utilisez Python pour explorer toutes les informations vidéo de la station B

Je pense que tout le monde connaît Station B. En fait, il y a beaucoup de recherches sur le site d'exploration de Station B. Cependant, ce que je lis sur papier est finalement superficiel, et je sais bien que je dois le faire en détail, donc je suis ici. Au final, la quantité totale de données explorées était de 7,6 millions .

Préparation

Ouvrez d’abord la Station B, recherchez une vidéo sur la page d’accueil et cliquez dessus. Pour un fonctionnement normal, ouvrez les outils de développement. Cette fois, l'objectif est d'obtenir des informations vidéo en explorant l'API fournie par la station B sans analyser la page Web. La vitesse d'analyse de la page Web est trop lente et l'adresse IP est facilement bloquée.

Cochez l'option JS et appuyez sur F5 pour actualiser

J'ai trouvé l'adresse de l'API

Copiez-le, supprimez le contenu inutile et obtenez https://api.bilibili.com/x/web-interface/archive/stat?aid=15906633 Ouvrez-le avec un navigateur et vous obtiendrez les données json suivantes

.

Codage pratique

D'accord, le code peut désormais être codé. Les données sont obtenues par itération continue via requête. Afin de rendre le robot d'exploration plus efficace, le multithreading peut être utilisé.

Code de base

Exploration itérative

La partie la plus importante de l'ensemble du projet comprend environ 20 lignes de code, ce qui est assez concis.

L'effet d'exécution est à peu près le suivant : le nombre correspond au nombre de liens qui ont été explorés. En fait, l'intégralité des informations du site peut être explorée en un ou deux jours.

Quant à la façon de le traiter après l'exploration, cela dépend de vos préférences. Je l'enregistre d'abord sous forme de fichier csv, puis je le résume et l'insère dans la base de données.

Table de base de données

Depuis que j'ai exploré ce contenu il y a quelques mois, les données sont en fait un peu en retard.

Quantité totale de données

Vérifiez les dix vidéos les plus jouées

Vérifiez les dix vidéos avec le plus de réponses

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!