소스 코드 확보 - PHP에서 웹 데이터 수집을 위한 완전한 기능을 갖춘 오픈 소스 프로젝트가 있습니까?

웹페이지에서 데이터를 수집할 수 있는 오픈소스 도구가 있나요?

예를 들어 연속 규칙 캡처를 포함하려는 경우 페이징 정보를 먼저 캡처하고 여기에서 세부정보 페이지를 가져온 다음 세부정보 페이지에서 실제로 필요한 DOM 필드를 캡처합니다.

데이터베이스에 저장된 최종 사용자 정의가 포함되어 있습니다.

IP 등을 위조하는 기능이 포함됩니다.

자동 대기열 메커니즘, 자동 지연 포함

잠깐

감사합니다

답글 내용:

웹페이지에서 데이터를 수집할 수 있는 오픈소스 도구가 있나요?

예를 들어 연속 규칙 캡처를 포함하려는 경우 페이징 정보를 먼저 캡처하고 여기에서 세부정보 페이지를 가져온 다음 세부정보 페이지에서 실제로 필요한 DOM 필드를 캡처합니다.

데이터베이스에 저장된 최종 사용자 정의가 포함되어 있습니다.

IP 등을 위조하는 기능이 포함됩니다.

자동 대기열 메커니즘, 자동 지연 포함

잠깐

감사합니다

예, [Archer Cloud Crawler 개발 플랫폼]을 사용해 볼 수 있습니다. ]
Archer Cloud Crawler는 JS 개발자가 크롤러 시스템을 빠르게 개발할 수 있도록 지원하는 SaaS 서비스 플랫폼입니다. Archer는 사용하기 쉽고 유연하며 개방적인 클라우드 크롤러 개발 프레임워크를 제공하므로 개발자는 온라인에서 JS 코드 몇 줄만 작성하여 크롤러를 구현할 수 있습니다. 그리고 크롤러는 클라우드 서버에서 자동으로 실행되어 크롤링을 더 빠르고 효율적으로 만듭니다.

phpcrawler, PHP 크롤러, PHP 수집기, 다중 프로세스, 다중 스레드

php쿼리