노드, 유령 및 기병으로 웹 크롤링
- Jennifer Aniston원래의
- 2025-02-18 11:57:10216검색
이 기사는 Lukas White가 검토 한 동료입니다. Sitepoint 콘텐츠를 최대한 활용 한 Sitepoint의 동료 검토 자 덕분에!
프로젝트 과정에서 다양한 작업을 수행하기 위해 사용자 정의 스크립트를 작성해야한다는 것이 매우 일반적입니다. 일반적으로 명령 줄 (CLI)을 통해 실행되는 이러한 일회성 스크립트는 거의 모든 유형의 작업에 사용할 수 있습니다. 수년에 걸쳐 그러한 많은 스크립트를 작성한 후, 나는이 프로세스를 용이하게하기 위해 맞춤형 CLI 마이크로 프레임 워크를 마련하기 위해 소량의 시간을 선불로하는 것의 가치를 인식하기 위해 성장했습니다. 다행스럽게도 Node.js와 광범위한 패키지 생태계 NPM을 사용하면 쉽게 수행 할 수 있습니다. 텍스트 파일을 구문 분석하든 ETL을 실행하든 컨벤션을 마련하든 효율적이고 구조화 된 방식으로 새로운 기능을 쉽게 추가 할 수 있습니다.
명령 줄과 반드시 관련된 것은 아니지만 웹 크롤링은 종종 자동화 된 기능 테스트 및 디페이트 감지와 같은 특정 문제 도메인에 사용됩니다. 이 튜토리얼은 웹 크롤링을 중심으로 지원되는 조치가 진행되는 가벼운 CLI 프레임 워크를 구현하는 방법을 보여줍니다. 바라건대, 이것은 당신의 관심이 크롤링 또는 명령 줄에만 관심이 있는지 여부에 관계없이 창의적인 주스를 흐르게 할 수 있기를 바랍니다. 다루는 기술에는 Node.js, Phantomjs 및 크롤링 및 CLI와 관련된 다양한 NPM 패키지가 포함됩니다.
이 튜토리얼의 소스 코드는 Github에서 찾을 수 있습니다. 예제를 실행하려면 node.js와 phantomjs가 모두 설치되어 있어야합니다. 다운로드 및 설치 지침은 여기에서 찾을 수 있습니다 : Node.js, Phantomjs.
기본 명령 줄 프레임 워크 설정
CLI 프레임 워크의 핵심은 일반적으로 하나 이상의 선택적 또는 필요한 인수를 구체적인 행동으로 포함하는 명령을 변환하는 개념입니다. 이와 관련하여 상당히 도움이되는 두 개의 NPM 패키지는 사령관과 프롬프트입니다. 우리의 진입 점 (run.js)은 다음과 같은 가능한 인수를 정의합니다.
이 시점에서 우리는 수행 할 조치를 지정할 수있는 기본 경로를 정의하고 URL을 수락하라는 프롬프트를 추가했습니다. 이 조치와 관련된 논리를 처리하기 위해 모듈을 추가하면됩니다. action 디렉토리에 hello_world.js라는 파일을 추가하여 다음을 수행 할 수 있습니다.
$ <span>node run.js -x hello_world </span>
program
<span>.version('1.0.0')
</span> <span>.option('-x --action-to-perform [string]', 'The type of action to perform.')
</span> <span>.option('-u --url [string]', 'Optional URL used by certain actions')
</span> <span>.parse(process.argv);
</span>
복잡한 상호 작용을위한 체인 체인 기병 방법
그런 다음 run.js에서 새 동작에 대한 후크를 추가합니다.
웹 크롤링과 웹 스크래핑은 종종 상호 교환 적으로 사용되지만 두 가지 뚜렷한 프로세스입니다. 웹 크롤링은 일반적으로 봇이나 거미에 의해 수행되는 웹을 체계적으로 탐색하는 과정입니다. 웹 사이트의 내용을 색인화하고 다른 웹 페이지에 대한 링크를 따르는 것이 포함됩니다. 반면에 웹 스크래핑은 웹 사이트에서 특정 데이터를 추출하는 프로세스입니다. 여기에는 웹 페이지의 HTML을 구문 분석하여 필요한 데이터를 꺼내는 것이 포함됩니다. 웹 크롤링은 탐색 및 인덱싱에 관한 것이지만 웹 스크래핑은 데이터 추출에 관한 것입니다. node.js는 웹 크롤링에 인기있는 선택입니다. 비동기 성격. 동시 처리를 허용하므로 여러 페이지를 동시에 크롤링 할 수 있습니다. 이로 인해 동기식으로 실행되는 다른 언어보다 훨씬 빠릅니다. 또한 Node.js는 Phantomjs Horseman과 같은 웹 크롤링에 도움이 될 수있는 수많은 라이브러리와 도구가있는 풍부한 생태계를 가지고 있습니다. 웹 크롤링이 합법적입니까? 웹 크롤링 프로세스를 어떻게 최적화 할 수 있습니까? 예, Phantomjs Horseman을 사용하면 웹 사이트에 로그인하는 프로세스를 자동화 할 수 있습니다. 이를 통해 로그인 후에 만 액세스 할 수있는 페이지를 크롤링 할 수 있습니다. 그러나 이것이 웹 사이트의 서비스 약관을 위반할 수 있음을 알고 있어야합니다. $ <span>node run.js -x hello_world
</span>
program
<span>.version('1.0.0')
</span> <span>.option('-x --action-to-perform [string]', 'The type of action to perform.')
</span> <span>.option('-u --url [string]', 'Optional URL used by certain actions')
</span> <span>.parse(process.argv);
</span>
<span>var performAction = require('./actions/' + program.actionToPerform)
</span>
<span>switch (program.actionToPerform) {
</span> <span>case 'hello_world':
</span> prompt<span>.get([{
</span>
<span>// What the property name should be in the result object
</span> <span>name: 'url',
</span>
<span>// The prompt message shown to the user
</span> <span>description: 'Enter a URL',
</span>
<span>// Whether or not the user is required to enter a value
</span> <span>required: true,
</span>
<span>// Validates the user input
</span> <span>conform: function (value) {
</span>
<span>// In this case, the user must enter a valid URL
</span> <span>return validUrl.isWebUri(value);
</span> <span>}
</span> <span>}], function (err<span>, result</span>) {
</span>
<span>// Perform some action following successful input
</span> <span>performAction(phantomInstance, result.url);
</span> <span>});
</span> <span>break;
</span><span>}
</span>
이제이 코드가 제자리에 있으므로 다음 명령을 실행하여 주어진 페이지에서 링크를 추출하기 위해 크롤링을 실행할 수 있습니다.
$ <span>node run.js -x hello_world
</span>
결론
Phantomjs Horseman은 무엇이며 웹 크롤링에 어떻게 도움이됩니까?
Phantomjs Horseman은 Phantomjs를 사용하여 웹 브라우저를 자동화하기위한 고급 API를 제공하는 Node.js 패키지입니다. Node.js 코드에서 링크 클릭, 양식 작성 및 스크린 샷 촬영과 같은 웹 페이지에서 작업을 수행 할 수 있습니다. 이로 인해 인간 사용자와 마찬가지로 웹 페이지와 상호 작용할 수 있으므로 웹 크롤링을위한 강력한 도구가됩니다.
JavaScript 렌더링은 웹 크롤링에 큰 영향을 줄 수 있습니다. 기존 웹 크롤러는 JavaScript에서 생성 된 컨텐츠를 무시하고 웹 페이지의 HTML 만 구문 분석합니다. 그러나 최신 검색 엔진은 JavaScript를 렌더링 할 수있어 JavaScript 생성 컨텐츠를 색인 할 수 있습니다. 즉, 귀하의 웹 사이트가 컨텐츠 생성을 위해 JavaScript에 크게 의존하는 경우 기존 웹 크롤러가 완전히 색인화되지 않을 수 있습니다.
웹 크롤링을 사용하여 웹 사이트의 변경 사항을 모니터링 할 수 있습니까? 웹 크롤링을 사용하여 웹 사이트의 변경 사항을 모니터링 할 수 있습니다. 정기적으로 웹 사이트를 기어 다니고 현재 상태를 이전 상태와 비교하면 변경 사항을 감지 할 수 있습니다. 이는 전자 상거래 웹 사이트의 가격 변경 또는 뉴스 웹 사이트의 모니터링 업데이트를 추적하는 등 다양한 목적에 유용 할 수 있습니다. 웹 크롤링의 합법성은 의존합니다. 당신이있는 관할 구역과 당신이 기어 다니는 특정 웹 사이트를 포함한 여러 요인에 대해. 일부 웹 사이트는 Robots.txt 파일에서 웹 크롤링을 명시 적으로 허용하는 반면 다른 웹 사이트는이를 금지합니다. 웹 사이트의 robots.txt 파일을 존중하고 짧은 시간 안에 너무 많은 요청으로 웹 사이트의 서버에 과부하하지 않는 것이 중요합니다.
node.js 및 phantomjs horseman으로 로그인 해야하는 웹 사이트를 크롤링 할 수 있습니까?
동적 콘텐츠 처리는 웹 크롤링에서 전통적으로 도전적 일 수 있습니다. 웹 크롤러는 웹 페이지의 정적 HTML 만 구문 분석합니다. 그러나 Phantomjs Horseman과 같은 도구를 사용하면 JavaScript를 렌더링하고 인간 사용자와 마찬가지로 동적 콘텐츠와 상호 작용할 수 있습니다. 이를 통해 콘텐츠 생성을 위해 JavaScript에 크게 의존하는 웹 사이트에서 데이터를 크롤링하고 추출 할 수 있습니다.
웹 크롤러가 차단되지 않도록하는 몇 가지 전략이 있습니다. 한 가지 방법은 웹 사이트의 Robots.txt 파일을 존중하는 것입니다.이 파일은 크롤링 할 웹 사이트의 어떤 부분에 대한 지침을 제공합니다. 또 다른 방법은 서버에 과부하를 피하기 위해 웹 사이트에 요청을 보내는 속도를 제한하는 것입니다. 봇으로 감지되지 않도록 IP 주소와 사용자 에이전트를 회전 할 수도 있습니다.
위 내용은 노드, 유령 및 기병으로 웹 크롤링의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!