노드, 유령 및 기병으로 웹 크롤링

키 테이크 아웃

Node.js 및 NPM을 사용하여 웹 크롤링 및 기타 명령 줄 작업을위한 사용자 정의 CLI 마이크로 프레임 워크를 효율적으로 설정합니다. Phantomjs 및 Horseman 패키지를 사용하여 브라우저에서 사용자 상호 작용을 시뮬레이션하여 자동 웹 크롤링 기능을 향상시킵니다. 는 복잡한 동작 시퀀스를 실행하기 위해 Horseman 방법의 체인을 통합하여 웹 페이지 내에서 동적 상호 작용을 허용합니다. DOM에서 직접 유연한 스크립팅 및 데이터 추출을 위해 Horseman의 Evaluate () 메소드를 활용하여 Defement Detection과 같은 작업에 유용합니다. 는 Web Crawling 중에 Screenshot 기능을 활용하여 Visual QA 테스트와 같은 작업을 지원합니다. 고아가있는 팬텀 프로세스를 방지하고 시스템 성능 및 안정성을 유지하기 위해 각 사용 후 기병 인스턴스를 닫으십시오.

이 기사는 Lukas White가 검토 한 동료입니다. Sitepoint 콘텐츠를 최대한 활용 한 Sitepoint의 동료 검토 자 덕분에! 프로젝트 과정에서 다양한 작업을 수행하기 위해 사용자 정의 스크립트를 작성해야한다는 것이 매우 일반적입니다. 일반적으로 명령 줄 (CLI)을 통해 실행되는 이러한 일회성 스크립트는 거의 모든 유형의 작업에 사용할 수 있습니다. 수년에 걸쳐 그러한 많은 스크립트를 작성한 후, 나는이 프로세스를 용이하게하기 위해 맞춤형 CLI 마이크로 프레임 워크를 마련하기 위해 소량의 시간을 선불로하는 것의 가치를 인식하기 위해 성장했습니다. 다행스럽게도 Node.js와 광범위한 패키지 생태계 NPM을 사용하면 쉽게 수행 할 수 있습니다. 텍스트 파일을 구문 분석하든 ETL을 실행하든 컨벤션을 마련하든 효율적이고 구조화 된 방식으로 새로운 기능을 쉽게 추가 할 수 있습니다. 명령 줄과 반드시 ​​관련된 것은 아니지만 웹 크롤링은 종종 자동화 된 기능 테스트 및 디페이트 감지와 같은 특정 문제 도메인에 사용됩니다. 이 튜토리얼은 웹 크롤링을 중심으로 지원되는 조치가 진행되는 가벼운 CLI 프레임 워크를 구현하는 방법을 보여줍니다. 바라건대, 이것은 당신의 관심이 크롤링 또는 명령 줄에만 관심이 있는지 여부에 관계없이 창의적인 주스를 흐르게 할 수 있기를 바랍니다. 다루는 기술에는 Node.js, Phantomjs 및 크롤링 및 CLI와 관련된 다양한 NPM 패키지가 포함됩니다. 이 튜토리얼의 소스 코드는 Github에서 찾을 수 있습니다. 예제를 실행하려면 node.js와 phantomjs가 모두 설치되어 있어야합니다. 다운로드 및 설치 지침은 여기에서 찾을 수 있습니다 : Node.js, Phantomjs. 기본 명령 줄 프레임 워크 설정

CLI 프레임 워크의 핵심은 일반적으로 하나 이상의 선택적 또는 필요한 인수를 구체적인 행동으로 포함하는 명령을 변환하는 개념입니다. 이와 관련하여 상당히 도움이되는 두 개의 NPM 패키지는 사령관과 프롬프트입니다.

Commander는 지원되는 인수를 정의 할 수 있으며 Prompt를 사용하면 런타임에 입력을 위해 사용자에게 프롬프트를 제출할 수 있습니다. 최종 결과는 일부 사용자가 제공 한 데이터를 기반으로 동적 동작으로 다양한 동작을 수행하기위한 구문 적으로 달콤한 인터페이스입니다. 예를 들어, 우리는 명령이 다음과 같이 보이기를 원한다고 말합니다.

우리의 진입 점 (run.js)은 다음과 같은 가능한 인수를 정의합니다.

및 다양한 사용자 입력 사례를 다음과 같이 정의합니다

이 시점에서 우리는 수행 할 조치를 지정할 수있는 기본 경로를 정의하고 URL을 수락하라는 프롬프트를 추가했습니다. 이 조치와 관련된 논리를 처리하기 위해 모듈을 추가하면됩니다. action 디렉토리에 hello_world.js라는 파일을 추가하여 다음을 수행 할 수 있습니다.

보시다시피, 모듈에는 phantomjs 객체 (phantominstance)와 URL (URL)의 인스턴스가 제공 될 것으로 예상됩니다. 우리는 Phantomjs 인스턴스를 순간적으로 정의한다는 세부 사항을 살펴볼 것이지만, 지금은 특정 행동을 유발하기위한 토대를 마련한 것으로 충분합니다. 이제 우리는 컨벤션을 마련 했으므로 정의되고 제정신 방식으로 새로운 행동을 쉽게 추가 할 수 있습니다. 기병을 사용하여 팬텀 즈와 크롤링 Horseman은 Phantomjs 프로세스를 작성하고 상호 작용하기위한 강력한 인터페이스를 제공하는 Node.js 패키지입니다. Horseman과 그 특징에 대한 포괄적 인 설명은 자체 기사를 보증하지만 인간 사용자가 브라우저에서 전시 할 수있는 모든 행동을 쉽게 시뮬레이션 할 수 있다고 말하면 충분합니다. Horseman은 jQuery를 자동으로 주입하고 SSL 인증서 경고를 무시하는 등 광범위한 구성 옵션을 제공합니다. 또한 쿠키 처리 및 스크린 샷을 찍을 수있는 기능도 제공합니다.

$ <span>node run.js -x hello_world
</span>

CLI 프레임 워크를 통해 작업을 트리거 할 때마다 Entry Script (run.js)는 Horseman 인스턴스를 인스턴스화하여 지정된 동작 모듈로 전달합니다. 의사 코드에서는 다음과 같이 보입니다

이제 명령을 실행하면 Horseman 인스턴스 및 입력 URL이 Hello_world 모듈로 전달되어 Phantomjs가 URL을 요청하고 상태 코드를 캡처 한 다음 상태를 콘솔에 인쇄하게합니다. 우리는 Horseman을 사용하여 첫 번째 선의의 크롤링을 실행했습니다. giddyup!

program
  <span>.version('1.0.0')
</span>  <span>.option('-x --action-to-perform [string]', 'The type of action to perform.')
</span>  <span>.option('-u --url [string]', 'Optional URL used by certain actions')
</span>  <span>.parse(process.argv);
</span>

복잡한 상호 작용을위한 체인 체인 기병 방법

지금까지 우리는 Horseman의 매우 간단한 사용법을 살펴 보았지만 브라우저에서 일련의 작업을 수행하기 위해 방법을 함께 묶을 때 패키지가 훨씬 더 많은 일을 할 수 있습니다. 이러한 기능 중 몇 가지를 보여주기 위해 Github를 통해 탐색하여 새로운 저장소를 만들기 위해 사용자를 시뮬레이션하는 작업을 정의해 봅시다. 참고 :이 예는 순전히 데모 목적을위한 것이며 GitHub 리포지토리를 만드는 실용적인 방법으로 간주되어서는 안됩니다. 그것은 단지 Horseman을 사용하여 웹 응용 프로그램과 상호 작용할 수있는 방법의 예일뿐입니다. 자동화 된 방식으로 저장소 생성에 관심이 있으시면 공식 Github API를 사용해야합니다. 새로운 크롤링이 그렇게 트리거 될 것이라고 가정 해 봅시다 :

이미 설치 한 CLI 프레임 워크의 규칙에 따라 Create_Repo.js라는 동작 디렉토리에 새 모듈을 추가해야합니다. 이전의 "Hello World"예제와 마찬가지로 Create_Repo 모듈은 해당 동작에 대한 모든 논리를 포함하는 단일 함수를 내 보냅니다.

이 조치를 사용하면 이전보다 내보낸 기능에 더 많은 매개 변수를 전달하고 있습니다. 매개 변수에는 사용자 이름, 비밀번호 및 저장소가 포함됩니다. 사용자가 프롬프트 도전을 성공적으로 완료하면 run.js에서 이러한 값을 전달합니다. 그 중 어느 것도 발생하기 전에 run.js에 로직을 추가하여 프롬프트를 트리거하고 데이터를 캡처해야합니다. 우리는 메인 스위치 문에 사례를 추가하여이를 수행합니다.

이제이 후크를 run.js에 추가 했으므로 사용자가 관련 데이터를 입력하면 조치로 전달되어 크롤링을 진행할 수 있습니다. Create_Repo 크롤링 로직 자체에 대해서는 Horseman의 메소드 배열을 사용하여 GitHub 로그인 페이지로 이동하고 제공된 사용자 이름 및 비밀번호를 입력하고 양식을 제출합니다.

$ <span>node run.js -x hello_world
</span>

우리는 양식 제출 페이지가로드 될 때까지 대기하여 체인을 계속합니다.

이후로 우리는 jQuery를 사용하여 로그인이 성공했는지 확인합니다.

로그인이 실패하면 오류가 발생합니다. 그렇지 않으면, 우리는 프로필 페이지로 이동하는 체인 메소드를 계속합니다.

program
  <span>.version('1.0.0')
</span>  <span>.option('-x --action-to-perform [string]', 'The type of action to perform.')
</span>  <span>.option('-u --url [string]', 'Optional URL used by certain actions')
</span>  <span>.parse(process.argv);
</span>

프로필 페이지에 있으면 리포지토리 탭으로 이동합니다.

저장소 탭에있는 동안 지정된 이름이있는 저장소가 이미 존재하는지 확인합니다. 그렇다면, 우리는 오류를 던집니다. 그렇지 않다면, 우리는 순서를 계속합니다 :

오류가 발생하지 않았다고 가정하면 프로그래밍 방식으로“새 저장소”버튼을 클릭하고 다음 페이지를 기다려 진행합니다 :

그 후 우리는 제공된 저장소 이름을 입력하고 양식을 제출합니다.

결과 페이지에 도달하면 저장소가 생성되었음을 알고 있습니다.

<span>var performAction = require('./actions/' + program.actionToPerform)
</span>
<span>switch (program.actionToPerform) {
</span>  <span>case 'hello_world':
</span>    prompt<span>.get([{
</span>
      <span>// What the property name should be in the result object
</span>      <span>name: 'url',
</span>
      <span>// The prompt message shown to the user
</span>      <span>description: 'Enter a URL',
</span>
      <span>// Whether or not the user is required to enter a value
</span>      <span>required: true,
</span>
      <span>// Validates the user input
</span>      <span>conform: function (value) {
</span>
        <span>// In this case, the user must enter a valid URL
</span>        <span>return validUrl.isWebUri(value);
</span>      <span>}
</span>    <span>}], function (err<span>, result</span>) {
</span>
      <span>// Perform some action following successful input
</span>      <span>performAction(phantomInstance, result.url);
</span>    <span>});
</span>    <span>break;
</span><span>}
</span>

기병과 마찬가지로, 우리는 마지막에 기병 인스턴스를 닫는 것이 중요합니다.

기병 인스턴스를 닫지 않으면 고아가있는 phantomjs 프로세스가 기계에서 지속될 수 있습니다. 데이터를 수집하기 위해 크롤링 이 시점에서 우리는 Github에 새로운 저장소를 프로그래밍 방식으로 생성하기 위해 정적 조치 순서를 조립했습니다. 이것을 달성하기 위해, 우리는 일련의 기병 방법을 묶었습니다.

이 접근법은 미리 알려진 특정 구조 및 행동 패턴에 유용 할 수 있지만, 어느 시점에서보다 유연한 스크립팅을 구현해야한다는 것을 알 수 있습니다. 동작 시퀀스가 ​​상황에 따라 크게 다양하거나 여러 가지 다른 결과를 생성 할 가능성이있는 경우입니다. DOM에서 데이터를 추출 해야하는 경우에도 마찬가지입니다.

이 경우 인라인 또는 외부 연결 JavaScript를 주입하여 브라우저에서 자유 형식 상호 작용을 실행할 수있는 Horseman 's Evaluate () 메소드를 사용할 수 있습니다. 이 섹션에서는 페이지에서 기본 데이터를 추출하는 예를 보여줍니다 (이 경우 앵커 링크). 이것이 필요한 시나리오 중 하나는 도메인의 모든 URL을 누르기 위해 Defement Detection Crawler를 구축하는 것입니다. 마지막 예제와 마찬가지로 먼저 액션 디렉토리에 새 모듈을 추가해야합니다.

그런 다음 run.js에서 새 동작에 대한 후크를 추가합니다.

이제이 코드가 제자리에 있으므로 다음 명령을 실행하여 주어진 페이지에서 링크를 추출하기 위해 크롤링을 실행할 수 있습니다.

이 동작은 페이지에서 데이터를 추출하는 것을 보여 주며 Horseman이 내장 한 브라우저 동작을 사용하지 않습니다. Evalube () 메소드에 넣은 JavaScript를 직접 실행하고 브라우저 환경에서 기본적으로 실행되는 것처럼 수행합니다. 이 섹션에서 마지막으로 언급 된 한 가지 마지막 사항은 이전에 암시되었습니다. Evaluate () 메소드를 사용하여 브라우저에서 사용자 정의 자바 스크립트를 실행할 수있을뿐만 아니라 실행하기 전에 런타임 환경에 외부 스크립트를 주입 할 수도 있습니다. 귀하의 평가 논리. 이것은 그렇게 할 수 있습니다 :
위의 논리를 확장하여 모든 웹 사이트에서 거의 모든 작업을 수행 할 수 있습니다. 스크린 샷을 찍기 위해 Horseman을 사용하여 내가 시연하고 싶은 최종 사용 사례는 스크린 샷을 찍기 위해 Horseman을 사용하는 방법입니다. 스크린 샷을 나타내는 Base64 인코딩 된 문자열을 반환하는 Horseman의 Screenshotbase64 () 메소드 로이 작업을 수행 할 수 있습니다. 이전 예제와 마찬가지로 먼저 액션 디렉토리에 새 모듈을 추가해야합니다.

그런 다음 run.js에서 새 동작에 대한 후크를 추가합니다.

이제 다음 명령으로 스크린 샷을 찍을 수 있습니다

$ <span>node run.js -x hello_world
</span>

Base64 인코딩 된 문자열을 사용하는 이유는 예를 들어 실제 이미지를 저장하는 것이 아닙니다)는 원시 이미지 데이터를 나타내는 편리한 방법이기 때문입니다. 이 stackoverflow 답변은 더 자세히 설명합니다 실제 이미지를 저장하려면 스크린 샷 () 메소드를 사용합니다.

결론 이 튜토리얼은 Horseman 패키지를 사용하여 Phantomjs를 활용하기 위해 Node.js에서 크롤링을위한 몇 가지 기본 논리를 모두 보여 주려고 시도했습니다. CLI 프레임 워크를 사용하면 많은 프로젝트에 도움이 될 수 있지만 크롤링 사용은 일반적으로 매우 구체적인 문제 영역으로 제한됩니다. 하나의 공통 영역은 품질 보증 (QA)으로, 크롤링은 기능 및 사용자 인터페이스 테스트에 사용할 수 있습니다. 다른 영역은 예를 들어, 웹 사이트가 훼손되었거나 타협되었는지 여부를 감지하기 위해 주기적으로 웹 사이트를 기어 다닐 수있는 보안입니다. 프로젝트의 경우가 무엇이든, 목표를 명확하게 정의하고 가능한 한 눈에 잘 띄지 않도록하십시오. 가능할 때 허가를 받고, 가능한 한 최대의 공손한 범위로, 사이트를 DDO를하지 않도록주의하십시오. 자동화 된 트래픽을 많이 생성한다고 의심되는 경우 아마도 목표, 구현 또는 허가 수준을 재평가해야 할 것입니다. 노드와 Phantomjs Horseman을 사용한 웹 크롤링에 대한 자주 묻는 질문 (FAQ) 웹 크롤링과 웹 스크래핑의 차이점은 무엇입니까?

웹 크롤링과 웹 스크래핑은 종종 상호 교환 적으로 사용되지만 두 가지 뚜렷한 프로세스입니다. 웹 크롤링은 일반적으로 봇이나 거미에 의해 수행되는 웹을 체계적으로 탐색하는 과정입니다. 웹 사이트의 내용을 색인화하고 다른 웹 페이지에 대한 링크를 따르는 것이 포함됩니다. 반면에 웹 스크래핑은 웹 사이트에서 특정 데이터를 추출하는 프로세스입니다. 여기에는 웹 페이지의 HTML을 구문 분석하여 필요한 데이터를 꺼내는 것이 포함됩니다. 웹 크롤링은 탐색 및 인덱싱에 관한 것이지만 웹 스크래핑은 데이터 추출에 관한 것입니다.

웹 크롤링에 node.js를 사용하는 이유는 무엇입니까?

node.js는 웹 크롤링에 인기있는 선택입니다. 비동기 성격. 동시 처리를 허용하므로 여러 페이지를 동시에 크롤링 할 수 있습니다. 이로 인해 동기식으로 실행되는 다른 언어보다 훨씬 빠릅니다. 또한 Node.js는 Phantomjs Horseman과 같은 웹 크롤링에 도움이 될 수있는 수많은 라이브러리와 도구가있는 풍부한 생태계를 가지고 있습니다.

Phantomjs Horseman은 무엇이며 웹 크롤링에 어떻게 도움이됩니까?

Phantomjs Horseman은 Phantomjs를 사용하여 웹 브라우저를 자동화하기위한 고급 API를 제공하는 Node.js 패키지입니다. Node.js 코드에서 링크 클릭, 양식 작성 및 스크린 샷 촬영과 같은 웹 페이지에서 작업을 수행 할 수 있습니다. 이로 인해 인간 사용자와 마찬가지로 웹 페이지와 상호 작용할 수 있으므로 웹 크롤링을위한 강력한 도구가됩니다. JavaScript 렌더링이 웹 크롤링에 어떤 영향을 미치는가?

JavaScript 렌더링은 웹 크롤링에 큰 영향을 줄 수 있습니다. 기존 웹 크롤러는 JavaScript에서 생성 된 컨텐츠를 무시하고 웹 페이지의 HTML 만 구문 분석합니다. 그러나 최신 검색 엔진은 JavaScript를 렌더링 할 수있어 JavaScript 생성 컨텐츠를 색인 할 수 있습니다. 즉, 귀하의 웹 사이트가 컨텐츠 생성을 위해 JavaScript에 크게 의존하는 경우 기존 웹 크롤러가 완전히 색인화되지 않을 수 있습니다.

웹 크롤링을 사용하여 웹 사이트의 변경 사항을 모니터링 할 수 있습니까? 웹 크롤링을 사용하여 웹 사이트의 변경 사항을 모니터링 할 수 있습니다. 정기적으로 웹 사이트를 기어 다니고 현재 상태를 이전 상태와 비교하면 변경 사항을 감지 할 수 있습니다. 이는 전자 상거래 웹 사이트의 가격 변경 또는 뉴스 웹 사이트의 모니터링 업데이트를 추적하는 등 다양한 목적에 유용 할 수 있습니다.

웹 크롤링이 합법적입니까?

웹 크롤링의 합법성은 의존합니다. 당신이있는 관할 구역과 당신이 기어 다니는 특정 웹 사이트를 포함한 여러 요인에 대해. 일부 웹 사이트는 Robots.txt 파일에서 웹 크롤링을 명시 적으로 허용하는 반면 다른 웹 사이트는이를 금지합니다. 웹 사이트의 robots.txt 파일을 존중하고 짧은 시간 안에 너무 많은 요청으로 웹 사이트의 서버에 과부하하지 않는 것이 중요합니다.

웹 크롤링 프로세스를 어떻게 최적화 할 수 있습니까?

웹 크롤링 프로세스를 최적화하는 몇 가지 방법입니다. 한 가지 방법은 폭이 큰 검색 (BFS) 알고리즘을 사용하여 다음 깊이 수준으로 이동하기 전에 특정 깊이로 모든 페이지를 크롤링 할 수 있도록하는 것입니다. 또 다른 방법은 페이지의 관련성에 따라 크롤링 우선 순위를 정하는 것입니다. 예를 들어, 전자 상거래 웹 사이트를 크롤링하는 경우 블로그 게시물 전에 제품 페이지를 크롤링 할 수 있습니다.

node.js 및 phantomjs horseman으로 로그인 해야하는 웹 사이트를 크롤링 할 수 있습니까?

예, Phantomjs Horseman을 사용하면 웹 사이트에 로그인하는 프로세스를 자동화 할 수 있습니다. 이를 통해 로그인 후에 만 ​​액세스 할 수있는 페이지를 크롤링 할 수 있습니다. 그러나 이것이 웹 사이트의 서비스 약관을 위반할 수 있음을 알고 있어야합니다.

웹 크롤링에서 동적 컨텐츠를 처리 할 수있는 방법은 무엇입니까?

동적 콘텐츠 처리는 웹 크롤링에서 전통적으로 도전적 일 수 있습니다. 웹 크롤러는 웹 페이지의 정적 HTML 만 구문 분석합니다. 그러나 Phantomjs Horseman과 같은 도구를 사용하면 JavaScript를 렌더링하고 인간 사용자와 마찬가지로 동적 콘텐츠와 상호 작용할 수 있습니다. 이를 통해 콘텐츠 생성을 위해 JavaScript에 크게 의존하는 웹 사이트에서 데이터를 크롤링하고 추출 할 수 있습니다. 웹 크롤러가 차단되는 것을 방지 할 수있는 방법은 무엇입니까?

웹 크롤러가 차단되지 않도록하는 몇 가지 전략이 있습니다. 한 가지 방법은 웹 사이트의 Robots.txt 파일을 존중하는 것입니다.이 파일은 크롤링 할 웹 사이트의 어떤 부분에 대한 지침을 제공합니다. 또 다른 방법은 서버에 과부하를 피하기 위해 웹 사이트에 요청을 보내는 속도를 제한하는 것입니다. 봇으로 감지되지 않도록 IP 주소와 사용자 에이전트를 회전 할 수도 있습니다.

위 내용은 노드, 유령 및 기병으로 웹 크롤링의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!