首頁  >  問答  >  主體

网络爬虫 - python爬虫爬取资料,是直接生成Excel文件还是存入Mysql有利于后期处理。

要处理的文件不多,就是几万条,都是些简单的处理,Excel暂时也够用。大概思路两条:

1、python抓到的数据通过Python DB API 储存到mysql中再做处理。
2、直接把爬取到的资料用Phthon XlsxWriter模块生成Execl文件(.xlsx)。

不知道哪条路线对自动生成文件和后期的处理比较方便。自己不太会用mysql,所以比较倾向用XlsxWriter模块生成Execl文件,只是看了XlsxWriter模块的一些文档,也只是编写数据内容和格式,然后生成Execl文件,不知道有没有爬取的数据自动生成Execl文件比较简单的实现(有一些爬虫的框架可以实现,但是暂时没有学习框架,因为只是想实现一些简单的功能而已)。

大家讲道理大家讲道理2714 天前841

全部回覆(8)我來回復

  • 大家讲道理

    大家讲道理2017-04-18 10:22:34

    我遇到類似的問題, 最後選的是用 excel.
    這個完全看你的需求.哪個方便選哪個. 先說下我的情況.

    我當時的需求每次只爬幾百條數據, 而且每次都是用完就扔.
    所以用excel 更方便些. 操作excel 我用的openpyxl.
    只用來保存爬取的數據, 不操作樣式, 用起來還蠻簡單的.

    看你的資料有幾萬條, 如果考慮以後還會持續增加的話, 還是直接存資料庫以後操作比較方便.
    話又說回來, 如果覺得現在存excel 也能滿足自己需求的, 而且更方便的話, 存excel 也行.
    以後隨著資料增長, 覺得excel 不能滿足需求了, 寫個腳本直接把excel 裡的資料導入資料庫裡.

    看題主還擔心不熟悉 MySQL, 這個完全不是問題, 學過其他資料庫的話, 學 MySQL 也不是難事.

    回覆
    0
  • 阿神

    阿神2017-04-18 10:22:34

    資料庫

    遲早要接觸的

    資料少 直接文字檔案儲存都比 Excel 好...

    回覆
    0
  • PHPz

    PHPz2017-04-18 10:22:34

    我覺得這個和用什麼資料庫儲存沒關係,可以爬蟲爬取的資料存進execl裡面,後期再自己寫程式將execl資料導入資料庫,這樣也能提高爬蟲處理的速度,如果在爬取過程中入庫就不太好了

    回覆
    0
  • PHPz

    PHPz2017-04-18 10:22:34

    不懂mysql 就直接用 openpyxl

    回覆
    0
  • 伊谢尔伦

    伊谢尔伦2017-04-18 10:22:34

    存成csv文字檔, 照樣可以用Excel開啟,也方便導入資料庫.

    回覆
    0
  • 怪我咯

    怪我咯2017-04-18 10:22:34

    SQLite

    回覆
    0
  • 大家讲道理

    大家讲道理2017-04-18 10:22:34

    資料少併發不高用Sqlite唄~不熟sql用ORM唄~例如peewee~

    回覆
    0
  • 巴扎黑

    巴扎黑2017-04-18 10:22:34

    後製肯定使用資料庫。

    回覆
    0
  • 取消回覆