首页  >  问答  >  正文

Python:使用scrapy下载网站数据

问题描述

我想使用scrapy下载网站数据,并且以原目录结构进行保存,以便可以直接在本地访问,
请问有类似的代码可以参考吗?
注:刚接触scrapy,很多资源不知道在哪里找

大家讲道理大家讲道理2765 天前266

全部回复(2)我来回复

  • 大家讲道理

    大家讲道理2017-04-17 12:05:24

    觉得scrapy的文档不错,可能开始不怎么习惯回调。

    http://doc.scrapy.org/en/latest/intro/tutorial.html

    有人写了几个例子,不过没看过,不知道如何。

    https://github.com/geekan/scrapy-examples

    个人觉得先给文档过一遍,最起码上面的tutorial那个简单的例子先看遍,之后会顺手很多。

    回复
    0
  • 天蓬老师

    天蓬老师2017-04-17 12:05:24

    有个博客里面讲了很多scrapy的技术,建议去看看,http://tech.my-coffees.com

    回复
    0
  • 取消回复