做了几个爬虫,在本地的mongo做测试,但是没办法实行实施的监控,想挂在阿里云上,但是mongodb的远程链接很少,有的要么写得很复杂看不懂 要么就写得很简单不知道怎么操作~
本人是新手,虽然我也很鄙视伸手党,不过有些问题也是没办法~
有没有比较系统的答案?比如1,2,3,4 这样,不要太复杂,本人基础不好~
PHP中文网2017-05-02 09:21:50
mongodb에 원격 링크가 적다는 것은 무슨 뜻인가요? 서버에 mongodb를 직접 설치할 수 있습니다
크롤러는 주로 높은 다운링크 대역폭을 요구합니다. 실제로 외부 서버를 사용하는 것은 좋은 선택이 아닙니다. IP가 차단되면 변경할 방법이 없습니다.
인트라넷에서 여러 대의 머신을 크롤링한 후 외부에서 상태를 확인할 수 있도록 인트라넷에 포트 매핑을 수행했습니다.
마지막으로 크롤링이 완료되면 인덱스를 데이터베이스로 가져온 후 외부 네트워크에 동기화합니다.
