[Python] Web Crawler (1) : la signification de l'exploration des pages Web et la composition de base des URL

1. La définition de Web Crawler

Web Crawler, ou Web Spider, est un nom très vivant.

Si Internet est comparé à une toile d'araignée, alors une araignée est une araignée qui rampe sur la toile.
Les robots Web recherchent des pages Web via leurs adresses de liens.

Commencez à partir d'une certaine page du site Web (généralement la page d'accueil), lisez le contenu de la page Web, recherchez d'autres adresses de lien dans la page Web,

puis utilisez ces adresses de lien pour trouver le page Web suivante, comme ceci La boucle continue jusqu'à ce que toutes les pages Web de ce site Web aient été explorées.

Si l'ensemble d'Internet est considéré comme un site Web, alors les robots Web peuvent utiliser ce principe pour explorer toutes les pages Web d'Internet.

De cette façon, un robot d'exploration Web est un robot d'exploration, un programme qui explore les pages Web.

L'opération de base d'un robot d'exploration Web consiste à explorer les pages Web.

Alors, comment obtenir la page que vous souhaitez comme vous le souhaitez ?

Commençons par l’URL.

2. Le processus de navigation dans les pages Web

Le processus d'exploration des pages Web est en fait le même que celui utilisé habituellement par les lecteurs pour parcourir les pages Web. .

Par exemple, vous saisissez l'adresse www.baidu.com dans la barre d'adresse du navigateur.

Le processus d'ouverture d'une page Web consiste en fait à ce que le navigateur, en tant que "client" de navigation, envoie une requête au serveur, "récupère" les fichiers côté serveur vers le serveur local, puis les interprète et les affiche.

HTML est un langage de balisage qui utilise des balises pour marquer le contenu, l'analyser et le différencier.

La fonction du navigateur est d'analyser le code HTML obtenu, puis de convertir le code original en la page du site Web que nous voyons directement.

3. Concepts et exemples d'URI et d'URL

De manière simple, l'URL est du côté du navigateur Entrez le chaîne http://www.baidu.com.

Avant de comprendre l'URL, vous devez d'abord comprendre le concept d'URI.

Qu'est-ce qu'un URI ?

Chaque ressource disponible sur le Web, telle que les documents HTML, les images, les clips vidéo, les programmes, etc., est localisée par un identifiant de ressource universel (URI).

L'URI se compose généralement de trois parties :

①Le mécanisme de dénomination pour accéder aux ressources

②Le nom d'hôte où la ressource est stockée

③Le nom de ; la ressource elle-même, représentée par un chemin.

Par exemple, l'URI suivante :
http://www.why.com.cn/myhtml/html1223/

On peut l'interpréter ainsi :

① Il s'agit d'une ressource accessible via le protocole HTTP

② est située sur l'hôte www.webmonkey.com.cn

③ est accessible via le chemin. "/html/html40".

4. Compréhension et exemples d'URL

L'URL est un sous-ensemble de l'URI. C'est l'abréviation de Uniform Resource Locator, traduit par « Uniform Resource Locator ».

En termes simples, une URL est une chaîne décrivant les ressources d'informations sur Internet. Elle est principalement utilisée dans divers programmes clients et serveurs WWW.

À l'aide des URL, vous pouvez utiliser un format unifié pour décrire diverses ressources d'informations, notamment des fichiers, des adresses de serveur et des répertoires, etc.

Le format général de l'URL est (les crochets [] sont facultatifs) :

protocole :// nom d'hôte[:port] / chemin / [ ;parameters][?query]#fragment

Le format de l'URL se compose de trois parties :

①La première partie est le protocole (ou méthode de service ) ).

②La deuxième partie est l'adresse IP de l'hôte où la ressource est stockée (incluant parfois le numéro de port).

③La troisième partie est l'adresse spécifique de la ressource hôte, telle que le répertoire et le nom du fichier, etc.

Les première et deuxième parties sont séparées par le symbole "://", et

Les deuxième et troisième parties sont séparées par le symbole "/".

La première et la deuxième parties sont indispensables, et la troisième partie peut parfois être omise.

5. Comparaison simple de l'URL et de l'URI

L'URI est une abstraction de niveau inférieur de l'URL, une sorte de chaîne Normes de texte.

En d'autres termes, l'URI appartient à la classe parent et l'URL appartient à la sous-classe de l'URI. L'URL est un sous-ensemble de l'URI. La définition de

URI est : Uniform Resource Identifier ; la définition de

URL est : Uniform Resource Locator.

La différence entre les deux est que l'URI représente le chemin d'accès au serveur de requêtes et définit une telle ressource.

L'URL décrit également comment accéder à cette ressource (http://).

Regardons un petit exemple de deux URL.

1. Exemple d'URL du protocole HTTP :
Utilisez le protocole de transfert hypertexte HTTP pour fournir des ressources pour les services d'informations hypertextes.

Exemple : http://www.peopledaily.com.cn/channel/welcome.htm

Le nom de domaine de l'ordinateur est www.peopledaily.com.cn.

Le fichier hypertexte (le type de fichier est .html) est bienvenue.htm dans le répertoire /channel.

Ceci est un ordinateur du Quotidien du Peuple de Chine.

Exemple : http://www.rol.cn.NET/talk/talk1.htm

Le nom de domaine de l'ordinateur est www.rol.cn.Net.

Le fichier hypertexte (le type de fichier est .html) est talk1.htm dans le répertoire/talk.

Voici l'adresse du Red Chat Room. Vous pouvez accéder à la première salle du Red Chat Room à partir d'ici.

2． URL du fichier
Lorsque vous utilisez une URL pour représenter un fichier, le mode serveur est représenté par un fichier, suivi de l'adresse IP de l'hôte, du chemin d'accès au fichier (c'est-à-dire un répertoire), du nom du fichier et d'autres informations.

Parfois, les noms de répertoires et de fichiers peuvent être omis, mais le symbole "/" ne peut pas être omis.

Exemple : file://ftp.yoyodyne.com/pub/files/foobar.txt

L'URL ci-dessus représente le répertoire pub/files/ stocké sur l'hôte ftp.yoyodyne.com Un fichier en dessous, le nom du fichier est foobar.txt.

Exemple : file://ftp.yoyodyne.com/pub

représente le répertoire/pub sur l'hôte ftp.yoyodyne.com.

Exemple : file://ftp.yoyodyne.com/

représente le répertoire racine de l'hôte ftp.yoyodyne.com.

Le principal objet de traitement du robot d'exploration est l'URL. Il obtient le contenu du fichier requis en fonction de l'adresse URL, puis le traite ultérieurement.

Par conséquent, comprendre avec précision les URL est crucial pour comprendre les robots d'exploration Web.

Ce qui précède est un robot d'exploration Web [Python] (1) : explorer la signification des pages Web et la composition de base des URL. Pour plus de contenu connexe, veuillez faire attention au site Web PHP chinois (www.php.cn). )!