Python 크롤러의 작동 원리 분석

1. 크롤러의 작동 방식

웹 크롤러, 웹 스파이더(Web Spider)는 매우 생생한 이름입니다. 인터넷을 거미줄에 비유한다면 거미는 웹 위를 기어다니는 거미입니다. 웹 스파이더는 링크 주소를 통해 웹 페이지를 검색합니다. 웹사이트의 특정 페이지(보통 홈페이지)에서 시작하여 웹페이지의 내용을 읽고, 웹페이지에 있는 다른 링크 주소를 찾고, 이 링크 주소를 통해 다음 웹페이지를 찾는 과정이 이 웹사이트의 모든 웹페이지까지 계속됩니다. 가져오기가 완료될 때까지 포함됩니다. 전체 인터넷을 하나의 웹사이트로 간주한다면 웹 스파이더는 이 원리를 이용해 인터넷의 모든 웹페이지를 크롤링할 수 있습니다. 이런 방식으로 웹 크롤러는 웹 페이지를 크롤링하는 프로그램인 크롤러입니다. 웹 크롤러의 기본 작업은 웹 페이지를 크롤링하는 것입니다. 그렇다면 원하는 페이지를 원하는 대로 정확하게 얻을 수 있는 방법은 무엇일까요? URL부터 시작해 보겠습니다.

웹페이지를 크롤링하는 과정은 실제로 독자들이 일반적으로 IE 브라우저를 사용하여 웹페이지를 탐색하는 방법과 동일합니다. 예를 들어, 브라우저의 주소 표시줄에 www.baidu.com 주소를 입력합니다. 웹 페이지를 여는 과정은 실제로 브라우징 "클라이언트"인 브라우저가 서버에 요청을 보내고 서버측 파일을 로컬로 "잡은" 다음 이를 해석하고 표시하는 것입니다. HTML은 태그를 사용하여 콘텐츠를 표시하고 구문 분석하고 구별하는 마크업 언어입니다. 브라우저의 기능은 획득한 HTML 코드를 구문 분석한 다음 원본 코드를 우리가 직접 보는 웹사이트 페이지로 변환하는 것입니다.

간단히 말하면 URL은 브라우저에 입력한 http://www.baidu.com 문자열입니다. URL을 이해하기 전에 먼저 URI의 개념을 이해해야 합니다.

URI란 무엇입니까?

HTML 문서, 이미지, 비디오 클립, 프로그램 등과 같이 웹에서 사용할 수 있는 모든 리소스는 URI(Universal Resource Identifier)로 위치합니다.

URI는 일반적으로 세 부분으로 구성됩니다.

리소스 액세스를 위한 명명 메커니즘

리소스가 저장되는 호스트 이름,

경로 표현으로 구성된 리소스 자체.

예를 들어 다음 URI는 http://www.why.com.cn/myhtml/html1223/

HTTP 프로토콜을 통해 액세스할 수 있는 리소스입니다.

호스트 www.webmonkey.com.cn에 위치한

은 "/html/html40" 경로를 통해 액세스됩니다.

2. URL의 이해와 예

URL은 URI의 하위 집합입니다. "Uniform Resource Locator"로 번역되는 Uniform Resource Locator의 약어입니다. 일반인의 관점에서 URL은 인터넷상의 정보자원을 기술하는 문자열로 주로 다양한 WWW 클라이언트 프로그램과 서버 프로그램에서 사용된다. URL은 파일, 서버 주소, 디렉터리 등을 포함하여 다양한 정보 리소스를 통일된 형식으로 설명하는 데 사용할 수 있습니다. URL의 일반 형식은 다음과 같습니다(대괄호[]는 선택 사항).

protocol :// 호스트 이름[:port] / path / [;parameters][?query]#fragment

URL의 형식은 세 부분으로 구성됩니다.

첫 번째 부분은 프로토콜(또는 서비스 방법)입니다.

두 번째 부분은 리소스가 저장되는 호스트의 IP 주소입니다(경우에 따라 포트 번호 포함).

세 번째 부분은 디렉터리, 파일 이름 등 호스트 리소스의 특정 주소입니다.

첫 번째 부분과 두 번째 부분은 "://" 기호로 구분되며, 두 번째 부분과 세 번째 부분은 "/" 기호로 구분됩니다. 첫 번째와 두 번째 부분은 필수이며, 세 번째 부분은 생략되는 경우도 있습니다.

3. URL과 URI의 단순 비교

URI는 URL의 하위 수준 추상화, 문자열 텍스트 표준입니다. 즉, URI는 상위 클래스에 속하고 URL은 URI의 하위 클래스에 속합니다. URL은 URI의 하위 집합입니다. URI의 정의는 균일 자원 식별자(Uniform Resource Identifier)이고, URL의 정의는 균일 자원 로케이터(Uniform Resource Locator)입니다. 둘의 차이점은 URI가 요청 서버에 대한 경로를 나타내고 이러한 리소스를 정의한다는 것입니다. URL에는 이 리소스(http://)에 액세스하는 방법도 설명되어 있습니다.

URL의 두 가지 작은 예를 살펴보겠습니다.

1. HTTP 프로토콜의 URL 예:

Hypertext Transfer Protocol HTTP를 사용하여 하이퍼텍스트 정보 서비스에 대한 리소스를 제공합니다.

예: http://www.peopledaily.com.cn/channel/welcome.htm

컴퓨터 도메인 이름은 www.peopledaily.com.cn입니다.

하이퍼텍스트 파일(파일 형식: .html)은 /channel 디렉터리에 있는 Welcome.htm입니다.

중국 인민일보에 실린 컴퓨터입니다.

예: http://www.rol.cn.NET/talk/talk1.htm

컴퓨터 도메인 이름은 www.rol.cn.Net입니다.

하이퍼텍스트 파일(파일 형식: .html)은/talk 디렉토리에 talk1.htm입니다.

레드 채팅방 주소입니다. 여기에서 레드 채팅방의 첫 번째 방으로 입장하실 수 있습니다.

2． 파일 URL

URL을 사용하여 파일을 표현하는 경우 서버 모드는 파일로 표시되고 그 뒤에 호스트 IP 주소, 파일 액세스 경로(예: 디렉터리), 파일 이름 및 기타 정보가 표시됩니다.

디렉토리와 파일 이름을 생략할 수 있는 경우도 있지만 "/" 기호는 생략할 수 없습니다.

예: file://ftp.yoyodyne.com/pub/files/foobar.txt

위 URL은 호스트 ftp.yoyodyne.com에 저장된 pub/files/ 디렉터리를 나타냅니다. 아래 파일의 파일 이름은 foobar.txt입니다.

예: file://ftp.yoyodyne.com/pub

은 ftp.yoyodyne.com 호스트의 디렉터리/pub를 나타냅니다.

예: file://ftp.yoyodyne.com/

은 호스트 ftp.yoyodyne.com의 루트 디렉터리를 나타냅니다.

크롤러의 주요 처리 개체는 URL입니다. URL 주소를 기반으로 필요한 파일 콘텐츠를 얻은 후 추가로 처리합니다.

따라서 웹 크롤러를 이해하려면 URL을 정확하게 이해하는 것이 중요합니다.

위 내용은 이 글의 전체 내용입니다. 이 글의 내용이 모든 분들의 공부나 업무에 조금이나마 도움이 되었으면 좋겠습니다. 저도 PHP 중국어 홈페이지에 지원하고 싶습니다!

파이썬 크롤러의 작동 원리 분석과 관련된 더 많은 기사를 보려면 PHP 중국어 웹사이트를 주목하세요!