資料分析 - java 資料探勘分析求思路

Question

先說說我的想法吧：同時監控淘寶上很多物品的價格，然後獲取價格走勢（這個我打算自己寫爬蟲獲取，然後存在數據庫裡），但是問題來了

我該怎麼儲存數據，讓我能分析哪些物品在最近2天或7天的價格波動最大（最好是任意天數），這個地方該怎麼實現比較好。總不能說每天我都要遍歷一次資料庫來求價格的差值吧，能不能有經驗的大師指點下。

Answer 1

總不能說每天我都要遍歷一次資料庫來求價格的差值吧 是覺得開銷過大嗎？那就把熱點資料放Cache，過了這段熱點時間就持久化到資料庫。

熱點資料可以是但不限於：

• 這幾天剛採集的資料

• 最常分析的日期段，例如2天、7天、1個月

Answer 2

這個跟java沒關係

Answer 3

資料分析的方法和java不是強相關的，java從某個角度說只是一種工具，可以將你的想法交給計算完成，可以實現你與計算機的交流，有基於java相關的haoop生態，可以了解一哈

Answer 4

需要分析的變動快的 --> 熱數據 --> redis , 放在內存；
長期的歷史數據 --> 冷數據 --> mysql / oracle ，放在磁碟。