python - 代理导致Scrapy无法访问网站？

Question

今天用文档学习Scrapy的时候，第一个程序爬取stackoverflow的时候出现了问题。猜测原因是用了Lanten作为代理，因为在Scrapy所打印的信息中有一句是：“ [scrapy] DEBUG: Telnet console listening on 127.0.0.1:60...

大家讲道理 · Answer

把Lanten關掉~

巴扎黑 · Answer

答案來源位址：CSDN部落格：Scrapy使用問題整理

答案中最後提到了代理問題導致有些網站無法訪問，解決方法是在settings.py中修改：
DOWNLOADER_MIDDLEWARES = {

'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,

}

經測試修改後程式能夠運作

PHP中文网 · Answer

應該是Lanten改變了系統的代理，導致你的爬蟲也被迫使用這個代理ip去訪問