搜尋
首頁運維linux運維linux分散式檔案系統有哪些

linux分散式檔案系統有哪些

Mar 21, 2023 am 10:20 AM
linux檔案系統

linux分散式檔案系統有:1、OpenAFS,是一套開放原始碼的分散式檔案系統;2、MooseFs,是個具備容錯功能的網路分散式檔案統;3、googleFs,是一個可擴展分散式檔案系統等。

linux分散式檔案系統有哪些

本教學操作環境:linux5.9.8系統、Dell G3電腦。

linux分散式檔案系統有哪些?

  • NFS(www.tldp.org/HOWTO/NFS-HOWTO/index.html)

網頁檔案系統是FreeBSD支援的檔案系統中的一種,也被稱為NFS。

NFS允許一個系統在網路上與它人共用目錄和檔案。透過使用NFS, 使用者和程式可以像存取本機檔案一樣存取遠端系統上的檔案。它的好處是:

1、本機工作站使用更少的磁碟空間,因為通常的資料可以存放在一台機器上而且可以透過網路存取。

2、使用者不必在每個網路上機器裡面都有一個home目錄。 home目錄可以被放在NFS伺服器上並且在網路上處處可用。

3、諸如軟驅、CDROM、和ZIP之類的儲存設備可以在網路上面被別的機器使用。可以減少整個網路上的可移動介質設備的數量。

開發語言c/c ,可跨平台運作。

  • OpenAFS(www.openafs.org)

#OpenAFS是一套開放原始碼的分散式檔案系統,允許系統之間通過區域網路和廣域網路來分享檔案和資源。 OpenAFS是圍繞著一組叫做cell的文件伺服器組織的,每個伺服器的標識通常是隱藏在檔案系統中,從AFS客戶機登陸的用戶將分辨不出他們在那個伺服器上運行,因為從用戶的角度上看,他們想在有識別的Unix檔案系統語義的單一系統上運行。

檔案系統內容通常都是跨cell複製,一便一硬碟的失效不會損害OpenAFS客戶機上的運作。 OpenAFS需要高達1GB的大容量客戶機緩存,以允許存取經常使用的檔案。它是一個十分安全的基於kerbero的系統,它使用訪問控制列表(ACL)以便可以進行細粒度的訪問,這不是基於通常的Linux和Unix安全模型。開發協議IBM Public,運行在linux下。

  • MooseFs(derf.homelinux.org)

Moose File System是一個具備容錯功能的網路分散式檔案統,它將數據分佈在網路中的不同伺服器上,MooseFs透過FUSE使之看起來就是一個Unix的檔案系統。但有一點問題,它還是無法解決單點故障的問題。開發語言perl,可跨平台操作。

  • pNFS(www.pnfs.com)

網路檔案系統(Network FileSystem,NFS)是大多數區域網路(LAN)的重​​要的組成部分。但NFS不適用於高效能運算中苛刻的輸入書櫥密集型程序,至少以前是這樣。 NFS標準的罪行修改納入了Parallel NFS(pNFS),它是檔案共享的平行實現,將傳輸速率提高了幾個數量級。

開發語言c/c ,運行在linux下。

  • googleFs

據說是一個比較不錯的一個可擴展分散式檔案系統,用於大型的,分散式的,對大量資料進行存取的應用。它運行於廉價的普通硬體上,但可以提供容錯功能,它可以給大量的用戶提供效能較高的服務。 google自己開發的。

相關拓展:

##常用的分散式檔案系統有:GFS、TFS、HDFS、MooseFs、FastDfs、MogileFs、GridFs、MinIO、SeaweedFS、GlusterFS、Ceph 、GlusterFS等。

常見分散式檔案系統比對

1、GFS(Google File System)

Google公司為滿足公司需求而開發的基於Linux的可擴展的分散式檔案系統,用於大型的、分散式的、對大數據進行存取和應用,成本低,應用於廉價的普通硬體上,但不開源,暫不考慮。

2、TFS(Taobao File System)
阿里巴巴為滿足了淘寶對小文件存儲的需求而開發的一個可擴展、高可用、高性能、面向互聯網服務、開源的分佈式文件系統,主要針對海量的非結構化數據,它構築在普通的Linux機器叢集上,可為外部提供高可靠和高並發的儲存存取。 TFS為淘寶提供海量小文件存儲,通常文件大小不超過1M,這個也暫不考慮。

3、HDFS(Hadoop Distributed File System)
Hadoop分散式檔案系統,適合運行在通用硬體上做分散式儲存和運算,因為它具有高容錯性和可擴展性的特點,可部署在廉價的機器上,適合大數據的處理,在離線批量處理大數據上有先天的優勢。
Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜尋庫。它起源於Apache Nutch,後者是一個開源的網路搜尋引擎,本身也是Luene專案的一部分。 Aapche Hadoop架構是MapReduce演算法的開源應用,也是Google開創其帝國的重要基石。

4、MooseFS
MooseFS 是來自波蘭的開源且具備冗餘容錯功能的分散式POSIX 檔案系統,也是參考了GFS 的架構,實現了絕大部分POSIX 語義和API,它支持透過FUSE方式將檔案掛載操作,同時其提供的web管理介面非常方便查看目前的檔案儲存狀態,對master伺服器有單點依賴,用perl編寫,用於中、大型檔案應用,但效能相對較差,由於可能會即時存取所以暫不考慮。
備註:POSIX表示可移植作業系統介面(Portable Operating System Interface of UNIX,縮寫為 POSIX ),POSIX標準定義了作業系統應該為應用程式提供的介面標準

5、FastDFS
由淘寶的餘慶先生所開發的一個開源分散式檔案系統。它對文件進行管理,功能包括:文件儲存、文件同步、文件存取(文件上傳、文件下載)等,解決了大容量儲存和負載平衡的問題。適合以文件為載體的線上服務,如相簿網站、影片網站等等。 FastDFS為網路量身定制,充分考慮了冗餘備份、負載平衡、線性擴容等機制,並專注於高可用、高效能等指標,使用FastDFS搭建一套高效能的檔案伺服器叢集提供檔案上傳、下載等服務。但是FastDFS部署有點麻煩,而且它的SKD是不全的。

6、MogileFS
MogileFS是一套高效能開源的檔案自動備份元件,由Six Apart開發,廣泛應用在包括LiveJournal等web2.0網站上。支援多節點冗餘,可實現自動的檔案複製。不需要RAID,應用層可以直接實現RAID,不共享任何東西,透過叢集介面提供服務工作於應用層,沒有特殊的元件要求。使用HTTP方式通訊。

國內所知道的使用MogileFS 的公司有圖片託管網站yupoo又拍,digg, 土豆, 豆瓣,1 號店, 大眾點評,搜狗,安居客等等網站.基本很多網站容量,圖片都超過30T 以上。

7、GridFS
MongoDB是一種知名的NoSql資料庫,GridFS是MongoDB的一個內建功能,它用於儲存和恢復那些超過16M(BSON檔案限制)的檔案(如:圖片、音訊、視訊等),是檔案儲存的一種方式,但是它是儲存在MonoDB的集合中。它可以直接利用已建立的複製或分片機制,所以對於檔案儲存來說故障復原和擴充都很容易,且GridFS不產生磁碟碎片。

8、MinIO
MinIO 是基於Apache License v2.0開源協定的物件儲存服務。它相容於亞馬遜S3雲端儲存服務接口,非常適合用於儲存大容量非結構化的數據,例如圖片、視訊、日誌檔案、備份數據和容器/虛擬機鏡像等,而一個物件檔案可以是任意大小,從幾kb到最大5T不等。它也是一個非常輕的服務,可以很簡單的和其他應用的結合。 MinIO的特色在於簡單、輕量級,對開發者友好,學習成本低,安裝運維簡單,開箱即用。

9、SeaweedFS
SeaweedFS是基於go語言開發高度可擴展開源的分散式儲存系統,能儲存數十億檔案(最後受制於你的硬碟大小)、而且速度快,記憶體佔用小。上手使用比fastDFS簡單很多,自備Rest API。對於中小型檔案效率非常高,但是單一磁碟區最大容量被程式限製到30G,建議儲存檔案以100MB以內為主。

10、Ceph
Ceph是Red Hat旗下一個成熟的分散式檔案系統,而且還是一個有企業級功能的物件儲存生態環境。該系統具備高效能、高可用性、高可擴充性、即時儲存性等特點。雖然ceph很強大,但學習成本高、安裝運作複雜。 Ceph以C 編寫,儲存容量可輕鬆達到PB等級。

11、GlusterFS
GlusterFS 是由美國的Gluster 公司開發的POSIX 分散式檔案系統(以GPL 開源),它主要應用在叢集系統中,具有高擴展性、高可用性、高效能、可橫向擴充等特點,且沒有元資料伺服器的設計,讓整個服務沒有單點故障的隱患。該系統主要是為中大型檔案設計的,儲存容量可輕鬆達到PB。它有擴容縮容影響伺服器較多、遍歷目錄下檔案耗時、小檔案效能較差的缺點。

相關推薦:《Linux影片教學

以上是linux分散式檔案系統有哪些的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
Linux操作:網絡和網絡配置Linux操作:網絡和網絡配置Apr 27, 2025 am 12:09 AM

Linux網絡配置可以通過以下步驟完成:1.配置網絡接口,使用ip命令臨時設置或編輯配置文件持久化設置。 2.設置靜態IP,適合需要固定IP的設備。 3.管理防火牆,使用iptables或firewalld工具來控製網絡流量。

Linux中的維護模式:系統管理員指南Linux中的維護模式:系統管理員指南Apr 26, 2025 am 12:20 AM

維護模式在Linux系統管理中扮演關鍵角色,幫助進行系統修復、升級和配置變更。 1.進入維護模式可以通過GRUB菜單選擇或使用命令“sudosystemctlisolaterescue.target”。 2.在維護模式下,可以執行文件系統修復和系統更新等操作。 3.高級用法包括重置root密碼等任務。 4.常見錯誤如無法進入維護模式或掛載文件系統,可通過檢查GRUB配置和使用fsck命令修復。

Linux中的維護模式:何時以及為什麼使用它Linux中的維護模式:何時以及為什麼使用它Apr 25, 2025 am 12:15 AM

使用Linux維護模式的時機和原因:1)系統啟動問題時,2)進行重大系統更新或升級時,3)執行文件系統維護時。維護模式提供安全、控制的環境,確保操作的安全性和效率,減少對用戶的影響,並增強系統的安全性。

Linux:基本命令和操作Linux:基本命令和操作Apr 24, 2025 am 12:20 AM

Linux中不可或缺的命令包括:1.ls:列出目錄內容;2.cd:改變工作目錄;3.mkdir:創建新目錄;4.rm:刪除文件或目錄;5.cp:複製文件或目錄;6.mv:移動或重命名文件或目錄。這些命令通過與內核交互執行操作,幫助用戶高效管理文件和系統。

Linux操作:管理文件,目錄和權限Linux操作:管理文件,目錄和權限Apr 23, 2025 am 12:19 AM

在Linux中,文件和目錄管理使用ls、cd、mkdir、rm、cp、mv命令,權限管理使用chmod、chown、chgrp命令。 1.文件和目錄管理命令如ls-l列出詳細信息,mkdir-p遞歸創建目錄。 2.權限管理命令如chmod755file設置文件權限,chownuserfile改變文件所有者,chgrpgroupfile改變文件所屬組。這些命令基於文件系統結構和用戶、組系統,通過系統調用和元數據實現操作和控制。

Linux中的維護模式是什麼?解釋了Linux中的維護模式是什麼?解釋了Apr 22, 2025 am 12:06 AM

MaintenancemodeInuxisAspecialBootenvironmentforforcalsystemmaintenancetasks.itallowsadMinistratorStoperFormTaskSlikerSettingPassingPassingPasswords,RepairingFilesystems,andRecoveringFrombootFailuresFailuresFailuresInamInimAlenimalenimalenrenmentrent.ToEnterMainterMainterMaintErmaintErmaintEncemememodeBoode,Interlecttheboo

Linux:深入研究其基本部分Linux:深入研究其基本部分Apr 21, 2025 am 12:03 AM

Linux的核心組件包括內核、文件系統、Shell、用戶空間與內核空間、設備驅動程序以及性能優化和最佳實踐。 1)內核是系統的核心,管理硬件、內存和進程。 2)文件系統組織數據,支持多種類型如ext4、Btrfs和XFS。 3)Shell是用戶與系統交互的命令中心,支持腳本編寫。 4)用戶空間與內核空間分離,確保系統穩定性。 5)設備驅動程序連接硬件與操作系統。 6)性能優化包括調整系統配置和遵循最佳實踐。

Linux體系結構:揭示5個基本組件Linux體系結構:揭示5個基本組件Apr 20, 2025 am 12:04 AM

Linux系統的五個基本組件是:1.內核,2.系統庫,3.系統實用程序,4.圖形用戶界面,5.應用程序。內核管理硬件資源,系統庫提供預編譯函數,系統實用程序用於系統管理,GUI提供可視化交互,應用程序利用這些組件實現功能。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具