[Python] 웹 크롤러(1): 웹 페이지 크롤링의 의미와 URL의 기본 구성

1. 웹 크롤러의 정의

웹 크롤러, 즉 웹 스파이더(Web Spider)는 매우 생생한 이름입니다.

인터넷을 거미줄에 비유한다면 거미는 거미줄을 기어다니는 거미입니다.
웹 스파이더는 링크 주소를 통해 웹 페이지를 검색합니다.

웹사이트의 특정 페이지(보통 홈페이지)에서 시작하여 웹페이지의 내용을 읽고 웹페이지의 다른 링크 주소를 찾아

이 링크 주소를 사용하여 다음 웹페이지는 다음과 같습니다. 이 웹사이트의 모든 웹페이지가 크롤링될 때까지 루프가 계속됩니다.

인터넷 전체를 하나의 웹사이트로 본다면 웹스파이더는 이 원리를 이용해 인터넷상의 모든 웹페이지를 크롤링할 수 있습니다.

이런 식으로 웹 크롤러는 웹 페이지를 크롤링하는 프로그램인 크롤러입니다.

웹 크롤러의 기본 작업은 웹 페이지를 크롤링하는 것입니다.

그렇다면 어떻게 하면 원하는 페이지를 원하는 대로 얻을 수 있을까요?

URL부터 시작해 보겠습니다.

2. 웹페이지 탐색 과정

웹페이지 크롤링 과정은 실제로 독자들이 IE 브라우저를 사용하여 웹페이지를 탐색하는 방식과 동일합니다. .

예를 들어 브라우저의 주소 표시줄에 www.baidu.com이라는 주소를 입력합니다.

실제로 웹페이지를 여는 과정은 브라우징 "클라이언트"인 브라우저가 서버에 요청을 보내고, 서버 측 파일을 로컬로 "잡은" 다음, 해석하고 표시합니다.

HTML은 태그를 사용하여 콘텐츠를 표시하고 구문 분석하고 구별하는 마크업 언어입니다.

브라우저의 기능은 획득한 HTML 코드를 구문 분석한 다음 원본 코드를 우리가 직접 볼 수 있는 웹사이트 페이지로 변환하는 것입니다.

3. URI와 URL의 개념 및 예

간단히 말하면 URL은 브라우저 측에 있습니다. 문자열 http://www.baidu.com.

URL을 이해하기 전에 먼저 URI의 개념을 이해해야 합니다.

URI란 무엇입니까?

HTML 문서, 이미지, 비디오 클립, 프로그램 등과 같이 웹에서 사용할 수 있는 모든 리소스는 URI(Universal Resource Identifier)로 위치합니다.

URI는 일반적으로 세 부분으로 구성됩니다.

①리소스에 액세스하기 위한 명명 메커니즘

②리소스가 저장된 호스트 이름 경로로 표시되는 리소스 자체입니다.

예를 들어 다음 URI는

http://www.why.com.cn/myhtml/html1223/

다음과 같이 해석할 수 있습니다.

①HTTP 프로토콜을 통해 접근할 수 있는 리소스이고,

②는 호스트 www.webmonkey.com.cn에 위치하며,

III는 해당 경로를 통해 접근한다. "/html/html40".

4. URL의 이해와 예

URL은 URI의 하위 집합입니다. "Uniform Resource Locator"로 번역되는 Uniform Resource Locator의 약어입니다.

일반인의 관점에서 URL은 인터넷상의 정보자원을 기술하는 문자열로 주로 다양한 WWW 클라이언트 프로그램과 서버 프로그램에서 사용됩니다.

URL을 사용하면 통일된 형식을 사용하여 파일, 서버 주소, 디렉터리 등 다양한 정보 리소스를 설명할 수 있습니다.

URL의 일반 형식은 다음과 같습니다(대괄호[]는 선택 사항).

protocol :// 호스트 이름[:port] / path / [; 매개변수][?query]#fragment

URL 형식은 세 부분으로 구성됩니다.

첫 번째 부분은 프로토콜(또는 서비스 방법)입니다. ).

②두 번째 부분은 리소스가 저장된 호스트의 IP 주소입니다(경우에 따라 포트 번호 포함).

③세 번째 부분은 디렉터리, 파일 이름 등 호스트 리소스의 특정 주소입니다.

첫 번째와 두 번째 부분은 "://" 기호로 구분되며,

두 번째와 세 번째 부분은 "/" 기호로 구분됩니다.

첫 번째와 두 번째 부분은 필수이며, 세 번째 부분은 생략되는 경우도 있습니다.

5. URL과 URI의 단순 비교

URI는 URL의 하위 수준 추상화입니다. 문자열 텍스트 표준.

즉, URI는 상위 클래스에 속하고 URL은 URI의 하위 클래스에 속합니다. URL은 URI의 하위 집합입니다.

URI의 정의는 다음과 같습니다.

URL의 정의는 균일 리소스 로케이터입니다.

둘의 차이점은 URI가 요청 서버에 대한 경로를 나타내고 이러한 리소스를 정의한다는 점입니다.

URL에는 이 리소스(http://)에 액세스하는 방법도 설명되어 있습니다.

두 URL의 간단한 예를 살펴보겠습니다.

1. HTTP 프로토콜의 URL 예:

Hypertext Transfer Protocol HTTP를 사용하여 하이퍼텍스트 정보 서비스에 대한 리소스를 제공합니다.

예: http://www.peopledaily.com.cn/channel/welcome.htm

컴퓨터 도메인 이름은 www.peopledaily.com.cn입니다.

하이퍼텍스트 파일(파일 형식: .html)은 /channel 디렉터리에 있는 Welcome.htm입니다.

중국 인민일보에 실린 컴퓨터입니다.

예: http://www.rol.cn.NET/talk/talk1.htm

컴퓨터 도메인 이름은 www.rol.cn.Net입니다.

하이퍼텍스트 파일(파일 형식: .html)은/talk 디렉토리에 talk1.htm입니다.

레드 채팅방 주소입니다. 여기에서 레드 채팅방의 첫 번째 방으로 입장하실 수 있습니다.

2. 파일 URL

URL을 사용하여 파일을 표현하는 경우 서버 모드는 파일로 표시되며, 호스트 IP 주소, 파일 액세스 경로(예: 디렉터리), 파일 이름 및 기타 정보가 표시됩니다.

디렉토리와 파일 이름을 생략할 수 있는 경우도 있지만 "/" 기호는 생략할 수 없습니다.

예: file://ftp.yoyodyne.com/pub/files/foobar.txt

위 URL은 호스트 ftp.yoyodyne.com에 저장된 pub/files/ 디렉터리를 나타냅니다. 아래 파일의 파일 이름은 foobar.txt입니다.

예: file://ftp.yoyodyne.com/pub

는 ftp.yoyodyne.com 호스트의 디렉터리/pub를 나타냅니다.

예: file://ftp.yoyodyne.com/

은 호스트 ftp.yoyodyne.com의 루트 디렉터리를 나타냅니다.

크롤러의 주요 처리 개체는 URL입니다. URL 주소를 기반으로 필요한 파일 콘텐츠를 얻은 후 추가로 처리합니다.

따라서 웹 크롤러를 이해하려면 URL을 정확하게 이해하는 것이 중요합니다.

위는 [Python] 웹 크롤러(1) : 웹 페이지의 의미와 URL의 기본 구성을 크롤링하는 것이며, 더 많은 관련 내용은 PHP 중국어 홈페이지(www.php.cn)를 참고하시기 바랍니다. )!