recherche

Maison >développement back-end >tutoriel php >PHP或者python进行数据采集和分析，有什么比较成熟的框架？

PHP或者python进行数据采集和分析，有什么比较成熟的框架？

WBOY
WBOYoriginal
2016-10-23 23:59:59843parcourir

我现在需要对一个网站的文章列表和列表里面的实际内容进行自动化数据采集，列表里面能够取得每个文章的id，而每个文章又是通过一个统一的接口（参数带上那个文章id即可获取到对应的json）里面又有一部分数据需要采集然后进行数据分析。

目前有什么比较成熟的框架或者轮子能够实现我的需求吗？（要多线程，而且可以7x24小时稳定运行，因为采集数量巨大）

另外问一下，采集到的内容如何存储（百万到千万），数据里面有一些数字数据，需要进行统计分析，用mysql可以吗？或者说还有其他更加成熟简便的轮子可以用吗？

Déclaration：
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Article précédent：苹果序列号查询接口 Article suivant：像今日头条，她社区之类点击刷新数据不重复实现机制是什么？

Articles Liés

Voir plus