PHP或python進行資料蒐集和分析，有什麼比較成熟的架構？
- WBOY原創
- 2016-10-20 10:08:53931瀏覽
我現在需要對一個網站的文章列表和列表裡面的實際內容進行自動化數據採集，列表裡面能夠取得每個文章的id，而每個文章又是通過一個統一的接口（參數帶上那個文章id即可取得對應的json）裡面又有一部分資料需要收集然後進行資料分析。
目前有什麼比較成熟的框架或輪子能夠實現我的需求嗎？ （要多線程，而且可以7x24小時穩定運行，因為採集數量龐大）
另外問一下，採集到的內容如何儲存（百萬到千萬），數據裡面有一些數字數據，需要進行統計分析，用mysql可以嗎？或者說有其他更成熟簡單的輪子可以用嗎？
陳述：
本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn
上一篇：PC 手機相容的 編輯器下一篇：PC 手機相容的 編輯器