Node.js의 웹 스크래핑

코어 포인트

모듈은 HTML 문자열에서 DOM을 구축하고 구문 분석 할 수있는 jQuery의 서브 세트를 구현하지만 제대로 구조화되지 않은 HTML을 다루기가 어려울 수 있습니다.
• cheerio 결합 와 request를 결합하면 웹 페이지의 특정 요소를 추출하기 위해 완전한 웹 크롤러를 만들 수 있지만 동적 컨텐츠를 처리하고 금지를 피하고 로그인 또는 사용이 필요한 웹 사이트를 처리 할 수 ​​있습니다. 추가 도구 또는 전략.
• 웹 크롤러는 프로그래밍 방식으로 웹 페이지에 액세스하고 데이터를 추출하는 소프트웨어입니다. 콘텐츠 복제와 같은 문제로 인해 웹 크롤링은 다소 논란의 여지가있는 주제입니다. 대부분의 웹 사이트 소유자는 공개적으로 사용 가능한 API를 통해 데이터에 액세스하는 것을 선호합니다. 불행히도, 많은 웹 사이트는 API 품질이 좋지 않으며 API도 전혀 제공하지 않습니다. 이로 인해 많은 개발자들이 웹 크롤링으로 향했습니다. 이 기사는 Node.js에서 자신의 웹 크롤러를 구현하는 방법을 알려줍니다. 웹 크롤링의 첫 번째 단계는 원격 서버에서 소스 코드를 다운로드하는 것입니다. "node.js에서 http 요청 만들기"에서 독자들은 모듈 다운로드 페이지를 사용하는 방법을 배웠습니다. 다음 예제는 node.js에서 GET 요청을 만드는 방법을 빠르게 검토합니다. cheerio
더 어려운 단계 인 웹 크롤링의 두 번째 단계는 다운로드 된 소스 코드에서 데이터를 추출하는 것입니다. 클라이언트 측 에서이 작업은 Selector API 또는 JQuery와 같은 라이브러리를 사용하여 쉽게 달성 할 수 있습니다. 불행히도, 이러한 솔루션은 DOM을 쿼리 할 수 ​​있다는 가정에 의존합니다. 불행히도 Node.js는 DOM을 제공하지 않습니다. 아니면 있습니까?
• 치어리오 모듈 request <.> node.js에는 내장 DOM이 없지만 HTML 소스 코드 문자열에서 DOM을 빌드 할 수있는 모듈이 있습니다. 두 개의 인기있는 DOM 모듈은 cheerio와 입니다. 이 기사는 다음 명령을 사용하여 설치할 수있는 에 중점을 둡니다.

모듈은 jQuery의 하위 집합을 구현하므로 많은 개발자가 신속하게 시작할 수 있습니다. 실제로

는 jQuery와 매우 유사하며 에서 구현되지 않은 jQuery 함수를 사용하려고 시도하는 것은 쉽습니다. 다음 예제는 request를 사용하여 HTML 문자열을 구문 분석하는 방법을 보여줍니다. 첫 번째 줄은 를 프로그램으로 가져옵니다. 변수는 HTML 조각을 구문 분석 할 저장합니다. 3 행에서 를 사용하여 HTML을 구문 분석하십시오. 결과는 변수에 할당됩니다. 달러 표시는 전통적으로 jQuery에서 사용 되었기 때문에 선택되었습니다. Line 4는 CSS 스타일 선택기를 사용하여 요소를 선택합니다. 마지막으로 메소드를 사용하여 목록의 내부 HTML을 인쇄하십시오.

var request = require("request");

request({
  uri: "http://www.sitepoint.com",
}, function(error, response, body) {
  console.log(body);
});

제한

는 적극적으로 개발 중이며 지속적으로 개선되고 있습니다. 그러나 여전히 몇 가지 제한 사항이 있습니다. 가장 실망스러운 측면은 HTML 파서입니다. HTML 파싱은 어려운 문제이며 HTML이 잘못된 웹 페이지가 많이 있습니다. 이 페이지에서

가 충돌하지는 않지만 요소를 선택할 수 없다는 것을 알 수 있습니다. 따라서 오류가 선택기인지 또는 페이지 자체인지 확인하기가 어렵습니다. cheerio cheerio 크롤링 jspro cheerio

다음 예제는

와 를 결합하여 완전한 웹 크롤러를 구축합니다. 이 샘플 크롤러는 JSPRO 홈페이지의 모든 기사의 제목과 URL을 추출합니다. 처음 두 줄은 필요한 모듈을 예제로 가져옵니다. JSPRO 홈페이지의 소스 코드를 3 행에서 5 행에서 다운로드하십시오. 그런 다음 소스 코드를 구문 분석을 위해 로 전달하십시오.

JSPRO 소스 코드를 보면 각 게시물 제목은 가있는 request 요소에 포함 된 링크임을 알 수 있습니다. 7 행의 선택기는 모든 기사 링크를 선택합니다. 그런 다음 cheerio 함수를 사용하여 모든 기사를 반복하십시오. 마지막으로, 기사 제목과 URL은 각각 링크의 텍스트와 cheerio 속성에서 얻습니다.

결론

npm install cheerio

이 기사는 node.js에서 간단한 웹 크롤러를 만드는 방법을 보여줍니다. 이것이 웹 페이지를 크롤링하는 유일한 방법은 아닙니다. 헤드리스 브라우저 사용과 같은 다른 기술이있어 더 강력하지만 단순성 및/또는 속도에 영향을 줄 수 있습니다. Phantomjs 헤드리스 브라우저에 대한 다가오는 기사를 후속 조치하십시오. entry-title node.js 웹 크롤링 FAQ (FAQ) <a></a> node.js 웹 크롤링에서 동적 컨텐츠를 처리하는 방법은 무엇입니까? each() Node.js에서 동적 컨텐츠를 처리하는 것은 콘텐츠가 비동기로로드되기 때문에 약간 까다로울 수 있습니다. DevTools 프로토콜을 통해 크롬 또는 크롬을 제어하기 위해 고급 API를 제공하는 Node.js 라이브러리 인 Puppeteer와 같은 라이브러리를 사용할 수 있습니다. 인형극은 기본적으로 헤드리스 모드로 실행되지만 크롬 또는 크롬을 완전히 실행하도록 구성 할 수 있습니다. 이를 통해 사용자 상호 작용을 시뮬레이션하여 동적 컨텐츠를 크롤링 할 수 있습니다. href 웹 페이지를 크롤링 할 때 금지되지 않도록하는 방법은 무엇입니까?

웹 사이트에서 비정상적인 트래픽을 감지하면 웹 크롤링으로 인해 IP가 금지 될 수 있습니다. 이를 피하기 위해 IP 주소 회전, 지연을 사용하고 이러한 문제를 자동으로 처리하는 크롤링 API를 사용하는 것과 같은 기술을 사용할 수 있습니다.

웹 사이트에서 데이터를 크롤링하는 방법은 로그인해야합니까? 웹 사이트에서 데이터를 크롤링하려면 로그인해야합니다. Puppeteer를 사용할 수 있습니다. 인형극은 로그인 양식을 작성하여 제출하여 로그인 프로세스를 시뮬레이션 할 수 있습니다. 로그인하면 원하는 페이지로 이동하여 데이터를 크롤링 할 수 있습니다. 크롤링 된 데이터를 데이터베이스에 저장하는 방법은 무엇입니까?

데이터를 크롤링 한 후 선택한 데이터베이스의 데이터베이스 클라이언트를 사용할 수 있습니다. 예를 들어 MongoDB를 사용하는 경우 MongoDB Node.js 클라이언트를 사용하여 데이터베이스에 연결하고 데이터를 저장할 수 있습니다.

페이징으로 웹 사이트에서 데이터를 크롤링하는 방법은 무엇입니까?

페이징이있는 웹 사이트에서 데이터를 크롤링하려면 루프를 사용하여 페이지를 탐색 할 수 있습니다. 각 반복에서 현재 페이지에서 데이터를 크롤링하고 다음 페이지 버튼을 클릭하여 다음 페이지로 이동할 수 있습니다.

무한 스크롤이있는 웹 사이트에서 데이터를 크롤링하는 방법은 무엇입니까?

무한 스크롤이있는 웹 사이트에서 데이터를 크롤링하려면 꼭두각시를 사용하여 스크롤을 시뮬레이션 할 수 있습니다. 루프를 사용하여 새 데이터가 더 이상로드되지 않을 때까지 계속 아래로 스크롤 할 수 있습니다.

웹 크롤링에서 오류를 처리하는 방법은 무엇입니까?

오류 처리는 웹 크롤링에서 중요합니다. Try-Catch 블록을 사용하여 오류를 처리 할 수 ​​있습니다. 캐치 블록에서 오류 메시지를 기록하여 문제를 디버깅하는 데 도움이됩니다.

ajax를 사용하여 웹 사이트에서 데이터를 크롤링하는 방법은 무엇입니까?

ajax를 사용하는 웹 사이트에서 데이터를 크롤링하려면 Puppeteer를 사용할 수 있습니다. 인형극은 Ajax 호출이 완료 될 때까지 기다린 다음 데이터를 가져올 때까지 기다릴 수 있습니다.

node.js에서 웹 크롤링 속도를 높이는 방법은 무엇입니까?

웹 크롤링 속도를 높이려면 병렬 처리와 같은 기술을 사용하여 다른 탭에서 여러 페이지를 열고 동시에 데이터를 잡을 수 있습니다. 그러나 너무 많은 요청으로 웹 사이트에 과부하하지 않도록주의하십시오. 이로 인해 IP가 금지 될 수 있습니다.

Captcha를 사용하여 웹 사이트에서 데이터를 크롤링하는 방법은 무엇입니까?

CAPTCHA를 사용하는 웹 사이트의 크롤링 데이터는 어려울 수 있습니다. 보안 문자를 해결하기 위해 API를 제공하는 2captcha와 같은 서비스를 사용할 수 있습니다. 그러나 어떤 경우에는 불법이거나 부도덕 할 수 있습니다. 항상 웹 사이트 서비스 약관을 존중하십시오.

위 내용은 Node.js의 웹 스크래핑의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!