Bagaimana untuk mereka bentuk laporan untuk sistem teragih yang besar?

Question

Saya benar-benar terdiam Penyerahan kedua ditolak sekali lagi dengan alasan: "Kandungan ini adalah milik perbincangan teknikal. Adalah disyorkan untuk bercakap secara ringkas tentang pendapat anda tentang isu ini untuk mengadakan pertukaran teknikal dengan orang lain ia adalah kali pertama kerana susun aturnya, saya akan mengakuinya Mengapa begitu sukar untuk menyiarkan siaran Soal Jawab? Okey, nyatakan sahaja seperti yang diperlukan Jika anda benar-benar tidak tahu, adakah anda perlu membuat secara rawak? Saya percaya bahawa pasukan laman web mempunyai niat yang baik, tetapi bagi pendatang baru, ia mungkin akan ditinggalkan kerana ini. Untuk kali terakhir, saya tidak akan menggunakan forum ini lagi. Memang sukar untuk bertanya.

Berikut ialah teks asal, dan saya akan melampirkan beberapa pemikiran saya sendiri pada penghujungnya.

Ini kali pertama saya di sini susun atur saya terlalu berantakan buat kali pertama, yang menyebabkan saya gagal dalam semakan kemudian saya mempelajari beberapa sintaks penurunan harga khusus untuk ini. Tanpa berlengah lagi, mari kita masuk ke dalam teks.

1. Latar belakang sistem

   • Sebuah perusahaan milik kerajaan yang tersenarai besar mempunyai cawangan di pelbagai wilayah dan bandar Bagi menguruskan proses perniagaan dan data kewangan cawangan dan anak syarikat secara seragam di seluruh negara, satu platform pengurusan telah dibangunkan dan kemudian diedarkan ke setiap wilayah dan bandar. berdasarkan keadaan sebenar pembangunan sekunder diperlukan untuk menggantikan sistem kewangan terdesentralisasi asal dan sistem pengurusan perniagaan pelbagai bandar.

2. Pengenalan platform

   • Bahagian hadapan menggunakan angularJs, bootstrap, html, bahagian belakang menggunakan springMVC, MyBatis, pangkalan data termasuk Oracle dan Mysql, rangka kerja rpc menggunakan dubbo, pusat pendaftaran menggunakan zookeeper, dan cache menggunakan redis Keseluruhan seni bina sistem diedarkan + kelompok. Keseluruhan sistem merangkumi berbilang modul perniagaan terutamanya termasuk 5 modul: "Pengurusan Projek", "Pengurusan Kontrak", "Pengurusan Perolehan", "Pengurusan Jualan" dan "Pengurusan Perakaunan".

3. Permintaan sedia ada

   • Buat 100+ laporan berdasarkan perniagaan sedia ada. Modul pelaporan akan mempunyai pangkalan data dan aplikasi bebas.

4. Kesukaran Teknikal

   • Bagaimana untuk membina jadual besar untuk digunakan dalam semua laporan?
     Memahami dengan jelas bahagian perniagaan secara semula jadi adalah yang paling asas, tetapi perkhidmatan dipanggil melalui antara muka antara setiap modul.

   • Bagaimana untuk mengekstrak sejumlah besar data daripada pangkalan data yang diedarkan?
     Setiap modul mempunyai pangkalan data sendiri, ada yang menggunakan Oracle, ada yang menggunakan MySQL, dan tahap volum data melebihi berpuluh juta.

   • Apakah cara yang lebih munasabah untuk menyegerakkan data? Dengan teknologi apa?
     Penyegerakan tambahan adalah sukar. Tiada cara yang baik dari modul perniagaan untuk memastikan data tambahan tidak terlepas; Selain itu, bagaimanakah kita boleh memastikan prestasi apabila memaparkan laporan dan mengeksport data?

Ini adalah kali pertama saya membuat projek sebesar itu, jadi saya benar-benar keliru. Ia mungkin tidak dinyatakan dengan jelas Jika anda mempunyai apa-apa untuk ditambahkan, sila tinggalkan mesej. Saya berharap agar senior-senior dalam forum dapat memberi nasihat kepada saya, saya amat berterima kasih.

ps:
Terdapat banyak bahagian penurunan harga yang saya masih tidak berapa faham Contohnya, apabila senarai tersusun dan tidak tersusun bersarang, mengapa titik hitam pejal menjadi berongga?
Mengapakah pembalut baris senarai tidak tertib hanya sah untuk baris semasa, dan apabila baris semasa sah, baris di atas yang telah dibalut adalah tidak sah?
Saya tidak faham mungkinkah sintaks penyunting yang berbeza adalah berbeza?
Bagaimana saya boleh melihat penurunan harga siaran yang disiarkan oleh orang lain? Jika anda boleh melihatnya, anda boleh mempelajarinya sekurang-kurangnya.

---

Idea reka bentuk peribadi

1. Analisis dimensi statistik dan medan biasa semua laporan, cipta pengguna oracle baharu dalam modul laporan, bahagikan semua medan kepada jadual mengikut modul, dan gunakannya sebagai jadual asas laporan

2. Anda perlu mempertimbangkan kaedah pengekstrakan data Pada masa ini saya boleh memikirkan dua kaedah:

   • Sediakan antara muka melalui setiap modul, dan masukkan data ke dalam jadual besar asas modul laporan;

   Sambungkan pangkalan data Oracle dan pangkalan data Mysql melalui DBLink, dan gunakan prosedur tersimpan untuk memasukkan data terus ke dalam jadual besar asas. Kelebihan: Peningkatan prestasi;

Data disegerakkan sepenuhnya setiap masa. Kelebihan: Logiknya mudah; Kelemahan: Jumlah penyegerakan data terlalu besar dan masa terlalu lama.
Di atas adalah beberapa pendapat peribadi saya harap anda senior boleh memberi saya nasihat.

Answer 1

Permintaan yang anda nyatakan pada asasnya ialah membina gudang data Idea asasnya ialah:

1. Pangkalan data gudang data dan sistem perniagaan adalah bebas Pemodelan gudang data secara amnya memerlukan reka bentuk hierarki, bukan sekadar membina jadual besar.
Ia secara amnya dibahagikan kepada lapisan penampan, lapisan asas, lapisan pengagregatan, lapisan laporan, dll. Fokus setiap lapisan adalah berbeza Lapisan asas masih berdasarkan model paradigma, lapisan pengagregatan secara amnya perlu menjadikan data berlebihan dan. lapisan laporan secara amnya Ia adalah reka bentuk jadual lebar dengan banyak lajur.

2. Penyegerakan data Apabila jumlah data adalah besar, mesti ada mekanisme tambahan Jika tidak, pengubahsuaian sistem perlu digunakan.

3 Terdapat beberapa idea untuk kaedah penyegerakan:

a. 用dblink打通数据库，人工写存储过程。
b. 用informatic powercenter 或kettle类似的ETL工具
c. 专用的数据库层同步软件，如oracle的ogg等