python - 代理导致Scrapy无法访问网站？

Question

今天用文档学习Scrapy的时候，第一个程序爬取stackoverflow的时候出现了问题。猜测原因是用了Lanten作为代理，因为在Scrapy所打印的信息中有一句是：“ [scrapy] DEBUG: Telnet console listening on 127.0.0.1:60...

大家讲道理 · Answer

把Lanten关掉~

巴扎黑 · Answer

答案源地址：CSDN博客：Scrapy使用问题整理

答案中最后提到了代理问题导致有些网站无法访问，解决方法是在settings.py中修改：
DOWNLOADER_MIDDLEWARES = {

'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,

}

经测试修改后程序能够运行

PHP中文网 · Answer

应该是Lanten改变了系统的代理，导致你的爬虫也被迫使用这个代理ip去访问