搜尋
首頁資料庫mysql教程成长型公司如何构建存储架构

成长型公司如何构建存储架构

Jun 07, 2016 pm 03:54 PM
公司如何儲存數據時代建構架構隨著

随着大数据时代的到来,合理构建可持续的存储架构已经成为企业数据中心IT主管们面临的头号难题之一。经常有人问我,如何为成长型公司的大型系统部署存储架构,尤其是当这些大型系统承载视频、音频、或社交类网站时,该如何构建存储架构?以下介绍一些我们常

big data problem

随着大数据时代的到来,合理构建可持续的存储架构已经成为企业数据中心IT主管们面临的头号难题之一。经常有人问我,如何为成长型公司的大型系统部署存储架构,尤其是当这些大型系统承载视频、音频、或社交类网站时,该如何构建存储架构?以下介绍一些我们常选择的方法及各自的优点。

构建存储架构时,要考虑许多问题,最明显的如存储容量、访问速度、缓存选择方案、服务器共享方式、访问协议及访问方法、安全及备份等等。

首先,我们认为最好的存放地址是存放在云中,这些服务存放在云中会很安全,如Amazon S3,阿里云OSS,或 Qiniu’s 的动态系统。但是,若你是自己想存储数据的话,你可以选择不同类型的存储容量。

DAS - 直接附加存储,也称为本地硬盘存储,是一种最普遍、速度最快也是最为经济的存储解决方案。现在已经有4TB的硬盘,再加上标准机箱可以有6-8个这样的硬盘,所以,若服务器是RAID5 配置的话,很容易就能达到20TB 以上。同时使用多个服务器的话,也很容易就能达到100TB,但是管理起来并不容易。所以,DAS是本地数据库存储、NFS共享存储及其它简单系统最好的存储选择方案。要想找一个比较简单的存储方案,这不失为一项最佳选择。

NAS – 网络附加存储也比较盛行,由两部分组成。最常见的情况就是 简单的服务器之间的NFS 共享,这种存储方式采用上文所述的大型TB硬盘,能存储简单的共享图片甚至视频,也能够达到十几TB 的存储量。

NAS 的第二种解决方案,则是商业解决组件,如NetAppFiler, 其存储容量可达几百TB,是一个强大的NFS解决方案,这些通常运用于大型系统,但是缺点是,当系统扩展受成本限制时,对此类存储进行扩展会花费很大的成本。

SAN - 存储区域网络,常被认为是NAS的“大哥”。但是,由于其成本太大且难以管理,所以,互联网行业通常不选择此解决方案。此外,该种存储不能够很好的响应互联网公司的共享需求,因为这种方案只连接几台高IO要求服务器如Oracle数据库联系在一起。

群集存储 - 在不用NFS 的情况下,这种方式越来越多的被用于解决共享问题。这种存储方案最好的优势在于,由于是群集存储,所以可以允许存储冗余存在,而这在DAS 或NAS系统中是很难实现的。常用的群集存储方式包括RedHat公司拥有的GlusterFS, 以及MogileFS。

这些系统通常管理起来很复杂,而且也有很多限制,如文件存放,空间管理及访问方法。例如,GlusterFS 就是由客户端进行管理,且以FUSE挂载,而MogileFS则根本无法挂载,因为它采用的是库驱动API,由PHP进行访问的等等。

群集存储容量可以扩大,甚至扩展到100TB,通常用于中等大小的图片或视频系统,前提是已经知道了它的限制和复杂性。

分布式存储 – 是群集系统的一个远房“表亲”,完全分布式的系统和Google File System比较接近, 在这个系统中,所有的文件、分布、复制、空间等都自动由系统进行管理。客户通常通过内核驱动程序安装该系统,整个分布式系统就像是SAN或NAS一样工作。

这些通常都是功能强大的商业化系统,如北京的Loongstore(龙存科技)。它们通常至少需要几个服务器才能开展工作,因为他们通常需要一个或更多的集群,并且其他服务器作为管理服务器来运行,除多个集群之外,多个存储节点也可以。但是,他们可以扩展到1PB甚至更大,是大型系统扩展的理想选择,并具有很高的冗余特性及极高的性能。

Flickr 或 Evernote 的API存储 – 可达500TB 甚至1PB, 对于某些特定存储需求,如图片存储,甚至可能用到几个基于文件的API系统,尽管大多数情况下是用于用户目录的增长。Flickr和Evernote 都发布了各自的系统架构,基本上都是基于HTTP文件存储的分布式集中管理系统。

在这些系统中,客户端调用目录寻找文件,然后获得一个URL反馈,指向在服务器或群集服务器上的需要进行读/写的文件。然后,客户端再发一个HTTP请求来读取这个文件,这个请求由单个服务器或一个小的群集服务器(使用复制或冗余RAID)进行处理,从本质上来说,这是一个共享存储系统,可以无限制扩展。但是,同其它共享存储系统一样,都面临着文件移动,管理难等挑战。

Amazon S3 使用的就是类似于这样的一个系统,使用基于HTTP的存储及你的内部目录了解你的文件存储地址。

Facebook - 最优秀的扩展案例就是Facebook系统, 该系统设计用于存放几十亿的文件,每秒处理几百万的请求。 该系统有点像 NFS/GFS 系统,在硬盘格式、有线网络格式上都采用了最佳的选择方案,在网络和硬盘上采取最短的文件传输路径。你不会想在不久的将来构建一个这样的系统,但是,花时间去研究一下,你会发现很有趣。

您会发现,成长型公司可选择多种不同的存储方式。但是,只有前几种存储方案对于成长型公司是比较实际的,DAS, NAS及群集存储。每种存储方案有其各自的优缺点。云络科技很高兴与您一起选择、构建并运行最适合您的解决方案。

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
您如何處理MySQL中的數據庫升級?您如何處理MySQL中的數據庫升級?Apr 30, 2025 am 12:28 AM

MySQL數據庫升級的步驟包括:1.備份數據庫,2.停止當前MySQL服務,3.安裝新版本MySQL,4.啟動新版本MySQL服務,5.恢復數據庫。升級過程需注意兼容性問題,並可使用高級工具如PerconaToolkit進行測試和優化。

您可以使用MySQL的不同備份策略是什麼?您可以使用MySQL的不同備份策略是什麼?Apr 30, 2025 am 12:28 AM

MySQL備份策略包括邏輯備份、物理備份、增量備份、基於復制的備份和雲備份。 1.邏輯備份使用mysqldump導出數據庫結構和數據,適合小型數據庫和版本遷移。 2.物理備份通過複製數據文件,速度快且全面,但需數據庫一致性。 3.增量備份利用二進制日誌記錄變化,適用於大型數據庫。 4.基於復制的備份通過從服務器備份,減少對生產系統的影響。 5.雲備份如AmazonRDS提供自動化解決方案,但成本和控制需考慮。選擇策略時應考慮數據庫大小、停機容忍度、恢復時間和恢復點目標。

什麼是mySQL聚類?什麼是mySQL聚類?Apr 30, 2025 am 12:28 AM

MySQLclusteringenhancesdatabaserobustnessandscalabilitybydistributingdataacrossmultiplenodes.ItusestheNDBenginefordatareplicationandfaulttolerance,ensuringhighavailability.Setupinvolvesconfiguringmanagement,data,andSQLnodes,withcarefulmonitoringandpe

如何優化數據庫架構設計以在MySQL中的性能?如何優化數據庫架構設計以在MySQL中的性能?Apr 30, 2025 am 12:27 AM

在MySQL中優化數據庫模式設計可通過以下步驟提升性能:1.索引優化:在常用查詢列上創建索引,平衡查詢和插入更新的開銷。 2.表結構優化:通過規範化或反規範化減少數據冗餘,提高訪問效率。 3.數據類型選擇:使用合適的數據類型,如INT替代VARCHAR,減少存儲空間。 4.分區和分錶:對於大數據量,使用分區和分錶分散數據,提升查詢和維護效率。

您如何優化MySQL性能?您如何優化MySQL性能?Apr 30, 2025 am 12:26 AM

tooptimizemysqlperformance,lofterTheSeSteps:1)inasemproperIndexingTospeedUpqueries,2)使用ExplaintplaintoAnalyzeandoptimizequeryPerformance,3)ActiveServerConfigurationStersLikeTlikeTlikeTlikeIkeLikeIkeIkeLikeIkeLikeIkeLikeIkeLikeNodb_buffer_pool_sizizeandmax_connections,4)

如何使用MySQL的函數進行數據處理和計算如何使用MySQL的函數進行數據處理和計算Apr 29, 2025 pm 04:21 PM

MySQL函數可用於數據處理和計算。 1.基本用法包括字符串處理、日期計算和數學運算。 2.高級用法涉及結合多個函數實現複雜操作。 3.性能優化需避免在WHERE子句中使用函數,並使用GROUPBY和臨時表。

MySQL批量插入數據的高效方法MySQL批量插入數據的高效方法Apr 29, 2025 pm 04:18 PM

MySQL批量插入数据的高效方法包括:1.使用INSERTINTO...VALUES语法,2.利用LOADDATAINFILE命令,3.使用事务处理,4.调整批量大小,5.禁用索引,6.使用INSERTIGNORE或INSERT...ONDUPLICATEKEYUPDATE,这些方法能显著提升数据库操作效率。

給MySQL表添加和刪除字段的操作步驟給MySQL表添加和刪除字段的操作步驟Apr 29, 2025 pm 04:15 PM

在MySQL中,添加字段使用ALTERTABLEtable_nameADDCOLUMNnew_columnVARCHAR(255)AFTERexisting_column,刪除字段使用ALTERTABLEtable_nameDROPCOLUMNcolumn_to_drop。添加字段時,需指定位置以優化查詢性能和數據結構;刪除字段前需確認操作不可逆;使用在線DDL、備份數據、測試環境和低負載時間段修改表結構是性能優化和最佳實踐。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具