클라이언트 IP를 사용하여 분산 크롤러를 구현하는 방법

서버측 크롤러를 사용하면 다양한 문제에 직면하게 되는데, 웹페이지를 열 때 방문자의 IP를 이용해 크롤링된 웹사이트에 접속한 후 데이터를 업로드하는 방법을 어떻게 분산 크롤러로 구현할 수 있을까요? ? Ajax는 크롤링된 데이터를 가져온 다음 이를 자체 서버로 보냅니다.

유사한 사례나 오픈소스 프로젝트가 있나요?

답글 내용:

서버측 크롤러를 사용하면 다양한 문제에 직면하게 되는데, 웹페이지를 열 때 방문자의 IP를 이용해 크롤링된 웹사이트에 접속한 후 데이터를 업로드하는 방법을 어떻게 분산 크롤러로 구현할 수 있을까요? ? Ajax는 크롤링된 데이터를 가져온 다음 이를 자체 서버로 보냅니다.

유사한 사례나 오픈소스 프로젝트가 있나요?

사용자의 개인정보를 도용하고 있으니 안 됩니다~

기본 원칙은 숨겨진 iframe을 생성한 후 대상 웹사이트를 요청하는 것입니다. 요청이 성공한 후 ajax를 사용하여 로컬 서버에 저장합니다. . 많은 웹사이트가 크롤링 방지 전략을 구현했기 때문에 서버측 크롤러가 실패하는 경우가 많습니다. 이 경우 클라이언트측 크롤러를 사용하는 것이 매우 유용합니다.

그러나 사용자 경험은 그다지 좋지 않습니다. . . .