Analisis data - idea analisis perlombongan data java

Question

Izinkan saya bercakap tentang idea saya dahulu: pantau harga banyak item di Taobao pada masa yang sama, dan kemudian dapatkan arah aliran harga (saya bercadang untuk menulis perangkak untuk mendapatkan ini sendiri, dan kemudian menyimpannya dalam pangkalan data), tetapi timbul masalah

Bagaimanakah saya harus menyimpan data supaya saya boleh menganalisis item yang mempunyai turun naik harga terbesar dalam 2 atau 7 hari terakhir (sebaik-baiknya dalam beberapa hari), dan cara melaksanakannya dengan lebih baik. Saya tidak boleh mengatakan bahawa saya perlu merentasi pangkalan data setiap hari untuk mencari perbezaan harga. Bolehkah tuan yang berpengalaman memberi saya nasihat?

Answer 1

Saya tidak boleh mengatakan bahawa saya perlu merentasi pangkalan data setiap hari untuk mencari perbezaan harga, kan Adakah anda fikir kosnya terlalu tinggi? Kemudian letakkan data panas dalam Cache dan simpan ke pangkalan data selepas masa panas ini.

Data hotspot boleh tetapi tidak terhad kepada:

• Data yang baru dikumpul dalam beberapa hari lalu

• Julat tarikh yang paling biasa dianalisis, seperti 2 hari, 7 hari, 1 bulan

Answer 2

Ini tiada kaitan dengan java, bukan?

Answer 3

Kaedah analisis data tidak berkait rapat dengan Java Dari perspektif tertentu, Java hanyalah alat yang boleh memindahkan idea anda kepada pengiraan dan membolehkan anda berkomunikasi dengan komputer Terdapat ekosistem haoop berdasarkan Java, yang boleh Kenali

Answer 4

Data berubah pantas yang perlu dianalisis --> Data panas --> redis, disimpan dalam ingatan
Data sejarah jangka panjang --> Data sejuk --> mysql / oracle, disimpan pada cakera.