크롤러를 여러 개 만들어 로컬 mongo에서 테스트했는데 모니터링을 구현할 수 없었습니다. Alibaba Cloud에 걸어두고 싶었지만 mongodb에 대한 원격 링크가 거의 없습니다. 아주 간단하게 썼는데 어떻게 조작해야할지 모르겠어요~
저도 초보자이고, 실습도 멸시하지만 어쩔 수 없는 문제가 있습니다. ~
좀 더 체계적인 답변이 있을까요? 예를 들어 1, 2, 3, 4 입니다. 이런 식으로 너무 복잡하게 만들지 마세요. 제 기본기가 좋지 않아요~
PHP中文网2017-05-02 09:21:50
mongodb에 원격 링크가 적다는 것은 무슨 뜻인가요? 서버에 mongodb를 직접 설치할 수 있습니다
크롤러는 주로 높은 다운링크 대역폭을 요구합니다. 실제로 외부 서버를 사용하는 것은 좋은 선택이 아닙니다. IP가 차단되면 변경할 방법이 없습니다.
인트라넷에서 여러 대의 머신을 크롤링한 후 외부에서 상태를 확인할 수 있도록 인트라넷에 포트 매핑을 수행했습니다.
마지막으로 크롤링이 완료되면 인덱스를 데이터베이스로 가져온 후 외부 네트워크에 동기화합니다.
