做了幾個爬蟲,在本地的mongo做測試,但是沒辦法實行實施的監控,想掛在阿里雲上,但是mongodb的遠程鏈接很少,有的要么寫得很複雜看不懂要么就寫得很簡單不知道怎麼操作~
本人是新手,雖然我也很鄙視伸手黨,不過有些問題也是沒辦法~
有沒有比較系統的答案?比如1,2,3,4 這樣,不要太複雜,本人基礎不好~
PHP中文网2017-05-02 09:21:50
mongodb的遠端連結很少是什麼意思? 你可以自己在伺服器安裝個mongodb
爬蟲主要是下行頻寬要求很高,其實用外網伺服器並不是很好選擇,一旦被封IP也沒辦法換了。
我之前是用內網的幾台機器進行爬取,然後在內網做了端口映射,可以在外部查看狀態。
最後爬取完成索引入庫後再同步到外網。