ホームページ >バックエンド開発 >PHPチュートリアル >PHP または Python を使用したデータ収集と分析のための成熟したフレームワークはありますか?
PHP または Python を使用したデータ収集と分析のための成熟したフレームワークはありますか?
- WBOYオリジナル
- 2016-10-23 23:59:59841ブラウズ
Web サイトの記事リストとリスト内の実際のコンテンツからデータを自動的に収集する必要があります。各記事の ID はリストから取得でき、各記事は統一インターフェイスを介して渡されます (パラメーターは記事をもたらします)。対応する json を取得できます) と、収集して分析する必要があるデータがいくつかあります。
私のニーズを満たすことができる比較的成熟したフレームワークまたはホイールはありますか? (コレクション数が膨大なため、マルチスレッドで24時間365日安定して実行できる必要があります)
また、収集したコンテンツ（数百万から数千万）を保存する方法についてお聞きしたいのですが、統計分析が必要なデータがいくつかあります。mysql を使用できますか?それとも、他に使用できる、より成熟したシンプルなホイールはありますか?
声明：
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。