資料庫雲端化: 實現軟體定義存儲
- PHPz轉載
- 2023-12-30 22:05:31725瀏覽
| 導讀 | 軟體定義儲存是產業發展的趨勢，可以保證系統的儲存存取在精準的水平上更靈活地管理，本文分享軟體定義儲存的資料庫雲化實踐，來自上週四大講堂分享整理。 |
軟體定義儲存(Software-defined storage，SDS)是一種資料儲存方式，所有儲存相關的控制工作都放置在相對於實體儲存硬體的外部軟體中。這個軟體不是作為儲存設備中的固件，而是在一個伺服器上或作為作業系統(OS)或hypervisor的一部分。
軟體定義儲存是產業發展的趨勢，可以保證系統的儲存存取在精準的層面上更靈活地管理，將軟體從硬體儲存中抽象，這意味著它可以變成一個不受實體系統限制的共享池，以便更有效地利用資源。儲存空間也可以透過軟體和管理進行部署和供應，其管理程序可以透過基於策略的自動化管理來進一步簡化。
軟體定義儲存有什麼特點可擴充。軟體定義儲存系統可以擴展到數百台甚至數千台的叢集規模，而且，隨著叢集規模的成長，系統整體效能表現為線性成長
低成本。軟體定義儲存系統的自動容錯、自動負載平衡機制使其可建置在普通X86伺服器之上。另外，線性擴展能力也使得增加、減少機器非常方便，可以實現自動運維。
高性能。無論是針對整個叢集還是單一伺服器，分散式儲存系統具備高效能。
傳統的IT架構模式：
一直以來，傳統架構的資料庫運作在小型主機和集中式SAN儲存上。隨著業務的高速發展，業務系統的交易量及資料量越來越大，對業務系統的處理能力及儲存能力需求越來越高。而傳統的架構擴展性差，運算能力有限，IO能力嚴重不足，如需達到相應的處理能力，則需要用更高配置的小型機和更高端存儲來代替現有的小型機和存儲，技術複雜，代價昂貴。同時，隨著設備的老化，設備效能越來越不足以支撐業務需要，業務系統的架構改造與升級勢在必行。
資料量：M級–>G級–>T級->海量已在眼前
資料量*用戶量–>關係用戶量：數萬–>幾十萬–>數百萬–>網際網路全開放
關係型資料庫之痛
中心化的儲存系統成為 I/O 存取的瓶頸:
1、傳統架構的資料庫節點需要高效能主機，成本高。對於多節點 RAC 資料庫，由於節點間的通訊帶 寬通常為 1Gb s，較高的為 10Gb s，這個數量級的頻寬使得節點間 的並發處理能力沒有充分利用。同時，傳統的磁碟陣列受限於控制器的處理能力和 FC 連接埠頻寬，IO 吞吐量通常只能幾百MB/s，在資料庫要求大量的磁碟讀寫時，IO 消耗的時間過長。
2、小型機配高階存儲，成本高昂，相對比較封閉，擴展能力差:傳統架構的存儲擴展能力較差，在容量增加時，性能沒有相應提高。同時擴容成本高，擴容週期長。
3、複雜的系統帶來部署及操作、運維和管理的複雜性:在傳統架構下，需要了解多維度的運維知識和技能，如:數據庫、U ix、存儲等，對運維人員要求極高，部署及操作、維運和管理異常複雜。
IT基礎架構發展趨勢
#IT架構的演進-煙囪狀到雲化
#兩層的運算-儲存架構有以下缺陷：
中心化的儲存系統
IO存取邊界，擴充成本高
部署與維運複雜
不能快速應付IT人員資源需求
#基於雲端化的高效能高可用架構的優勢：
高效能
彈性,可靈活多維動態擴展
統一維運管理，完善資料容災及保護
將帶來IT基礎設施效能的提升，x86平台CPU效能提升。過去的10 年， CPU 處理速度提升8-10倍；DRAM 處理速度提升7-9倍。
針對IT基礎架構的發展和IT基礎設施的發展，以x86伺服器為基礎、使用閃存卡、Infiniband交換機可以使Oracle RAC達到很高的處理能力和IO吞吐量的分佈式存儲方案zData應運而生。
zData軟體定義儲存基於x86的PC伺服器，在大幅提升系統效能，維持系統的擴展性和敏捷回應能力的情況下，成本相對於傳統架構還大大降低。 zData Light Storage分散式儲存軟體可支援上千個節點，儲存池容量可達到32PB。支援不同儲存媒體構成的儲存資源池。在基礎配置（3個儲存節點）下，高達數百萬IOPS，吞吐量超過20GB/s 。
實作方式：
1.用戶可以自購硬體或利舊。
2.雲端和恩墨提供zData軟體及服務，包括效能及容量規劃，zData最佳實踐，資料庫遷移及最佳化，整體維保。
方案價值：
1.標準的x86開放架構，方案靈活方便。
2.無須採用高階小型機及高階存儲，建造及擴容性價比極高。
產品建構：zData Light Storage儲存管理軟體
zData Light Storage是雲端和恩墨自主研發的分散式儲存管理軟體，是一套靈活的軟體定義儲存軟體，它充分利用基於PC伺服器的內部直連式儲存來創建一個虛擬的、可擴展的儲存池，效能大大優於外部傳統光纖通道SAN，而成本和複雜性則成倍降低。在zData中，透過zData Light Storage儲存管理軟體可以將高效能的x86伺服器作為儲存節點, 從而可以將多個儲存節點的內部磁碟資源整合起來形成虛擬的SAN儲存資源池，在資料庫節點（運算節點）上安裝zData Light Storage客戶端就可以使用其中虛擬SAN。 zData Light Storage支援Infiniband網路下的RDMA協定,大幅減少CPU佔用的同時能夠顯著降低IO存取延遲,具有無可比擬的性能優勢zData Light Storage支援主流儲存媒體，包括PCIe、NVMe、SAS、SATA等介面的SSD盤和卡片以及SAS、SATA介面的傳統機械硬碟。
Infiniband網路
zData基於40~100GbInfiniband高速網絡，採用全冗餘網路架構，一方面可提供足夠的頻寬承載zData LightStorage儲存管理軟體的資料傳輸，使其效能大幅優於外部傳統FC SAN,且成本與複雜性倍增;另一方面為Oracle RAC叢集的高效能讀寫提供了保障。
zData智慧管理工具zMan
根據雲端和恩墨在Oracle資料庫領域的專業知識和強大團隊，研發了人性化的管理和維運工具zMan(zData Manager),zMan為zData提供智慧方便一鍵化的安裝，部署，管理功能，極大的降低了管理和運維的成本並在管理功能上為用戶提供更簡單便利友好的操作體驗。
雲端和恩墨zData軟體定義儲存有以下的特點： 高效能儲存節點和運算節點透過高速40~100Gb的Infiniband網路互聯，每個連接的鏈路均可進行儲存資料傳輸。透過zDataLight Storage儲存管理軟體，在使用快閃記憶體卡的情況下，可以讓單一儲存節點提供IO吞吐量達到12GB/s以上，IOPS（每秒磁碟IO請求次數）可以達到40萬以上，磁碟存取延遲在0.6 ms以內。單一運算節點上的IO吞吐量達到12GB/s以上，IOPS（每秒磁碟IO請求次數）可以達到100萬以上，磁碟存取延遲在0.6ms以內。儲存的三項關鍵能力是傳統陣列的10倍以上。
多維動態擴充#在zData軟體定義儲存架構中，可以根據業務和應用的需求動態擴展運算節點和儲存節點，容量和效能線性成長。同樣，也可以根據業務和應用的需求動態減少運算和儲存節點，確保資源的最大可用度
資源的池化&雲端化在zData軟體定義儲存架構中，運算資源和儲存資源池化，統一管理,按需分配擴充。
架構和軟體的安全性與可靠性在zData軟體定義儲存中，伺服器，Infiniband交換機，Infiniband HCA卡及PCIe快閃卡等均冗餘，任何一個設備和節點出現故障，均不影響線上業務的可用性，無單點故障。同時，zData儲存管理軟體自動管理和維護儲存資源，當分散式儲存網路中有節點損壞，或移動增加儲存節點，zData儲存管理軟體會在已有的或完好的節點上重構完好的儲存「區塊”，使得每一份存儲“塊”仍然有鏡像，保證數據的安全性，重構速度每小時可達2TB，可在線自動操作，無需人工幹預和不影響在線業務。
統一維運管理，提高資源利用率整個zData的資源透過zdata管理平台統一管理，自動化運作維，大幅降低對IT管理人員技能需求。
雲端和恩墨zData軟體定義儲存獨有的智慧型快取工具zCache，提供以下功能：
• 支援writeback和直通模式
• 支援線上啟動和關閉cache
• 支援自動/手動刷新髒數據
• 支援髒塊的刷新頻率和速度動態的控制
zdata軟體定義儲存的應用場景及優點：1、資料倉儲與報表（OLAP）類系統：這類系統的資料庫對IO效能要求非常高，儲存容量擴容需求大，但是對可用性、容災要求不高。這類系統在企業應用中屬於核心系統之外的次重要係統，如果購買最高端的大容量集中存儲，成本很高。這類系統是zData軟體定義儲存解決方案的最佳使用場景。
2、線上事務處理（OLTP）類別系統：這類系統對即時性，並發性需求很高，對資料操作頻繁，對應對CPU及IO要求很高。由於zData軟體定義儲存解決方案能提供充足的運算能力及大幅降低IO延遲，這類系統也是zData軟體定義儲存解決方案的最佳使用情境。
3、資料庫雲端化和整合：一些大型企業，資料庫數量多，需要將許多不重要的資料庫整合起來，減少維運複雜度和減少成本。使用zData軟體定義分散式儲存解決方案建構資料庫雲端化和整合平台，提升系統整合後的效能，增加系統的彈性（方便擴容），並使用zMan軟體定義儲存管理工具，讓使用者易於維護整合後的系統。 zData支援OpenStack和VMware平台的雲端化和管理。
4、X86架構下的資料庫備份容災：適用於許多傳統X86架構的資料庫系統建立以zData軟體定義分散式儲存為核心的低成本，高效率的備份及容災平台。
以上是資料庫雲端化: 實現軟體定義存儲的詳細內容。更多資訊請關注PHP中文網其他相關文章！