データ分析 - Java データマイニング分析のアイデア

Question

まず私のアイデアについて話しましょう。淘宝網上の多くの商品の価格を同時に監視し、価格の傾向を取得します (これを取得するクローラーを自分で作成し、データベースに保存する予定です)。が、問題が発生します

過去 2 日または 7 日間 (できれば任意の日数) でどの商品の価格変動が最も大きかったかを分析できるようにデータを保存するにはどうすればよいですか、またこれをより適切に実装するにはどうすればよいですか。価格差を見つけるために毎日データベースを検索する必要があるとは言えませんが、経験豊富なマスターからアドバイスをいただけますか?

Answer 1

価格差を見つけるために毎日データベースを検索する必要があるとは言えませんね 高すぎると思いますか?次に、ホット データをキャッシュに置き、このホットタイムの経過後にデータベースに永続化します。

ホットスポット データには次のものがありますが、これらに限定されません:

• 過去数日間に収集されたばかりのデータ

• 最も一般的に分析される日付範囲 (2 日、7 日、1 か月など)

Answer 2

これはJavaとは関係ありませんね?

Answer 3

データ分析手法は Java とはあまり関係がありません。ある観点から見ると、Java はアイデアを計算に変換し、コンピューターと通信できるようにするための単なるツールです。

Answer 4

分析が必要な急速に変化するデータ --> ホットデータ --> Redis、メモリに保存されます。
長期の履歴データ --> コールドデータ --> mysql / oracle、ディスクに保存されます。