DeepSeek釋放3FS和Shmperpond框架

DeepSeek於2025年2月28日顯著增強了開源功能，揭示了Fire-Flyer文件系統（3FS）和Smplearpond數據處理框架。 這些工具旨在徹底改變數據訪問和處理，特別是用於AI培訓和推斷。

？ #opensourceweek的第5天：3FS，所有DeepSeek數據訪問的強大引擎

> fire-flyer文件系統（3FS） - 一個並行文件系統，最大化現代SSD和RDMA網絡的帶寬。

6.6 tib/s骨料讀取吞吐量（180節點群集） ⚡3.66TIB/min…

- DeepSeek（@Deepseek_ai）2025年2月28日

目錄的

>

> fire-flyer文件系統（3FS）

Shmperpond Framework

• 快速啟動：3FS和Smermpond
• >故障排除和監視
• 摘要
> fire-flyer文件系統（3FS）
• 3FS是為現代SSD和RDMA網絡構建的高性能，分佈式文件系統。 它提供了強大的共享存儲解決方案，簡化了分佈式應用程序開發。
理解RDMA

遠程直接內存訪問（RDMA）繞過操作系統限制，從而在兩台計算機的內存之間啟用直接數據傳輸。這會導致更快，更有效的溝通。

鍵3FS功能

• >無與倫比的性能和易用性：>
  6.6 tib/s骨料讀取吞吐量（180節點群集）。
  • 3.66 tib/min吞吐量在Graysort基準（25節點群集）上。
  • > 40 GIB/S峰值吞吐量每個客戶端節點for Kvcache查找。
>分解架構：
• 將數千個SSD的吞吐量與數百個存儲節點的網絡帶寬結合在一起。
  >為應用程序提供了局部性的存儲訪問。 >
  魯棒一致性：
• >使用分配查詢（CRAQ）採用鏈複製，以實現強大的一致性，簡化了應用程序編碼。
  標准文件接口：
• >使用基於交易鍵值商店的無狀態元數據服務（例如FoundationDB）。 維護熟悉的文件接口，消除了對新API學習的需求。
  >支持的工作負載
數據製備：

有效地管理數據分析管道中的大量中間輸出。

>

> dataLoader：
• >啟用跨計算節點訓練樣本的隨機訪問，消除預摘要或數據集隨機改組。
>檢查點：
• 支持大規模訓練的高通量平行檢查點。 推理的
kvcache：
• 提供了具有成本效益的高通量替代基於DRAM的基於DRAM的替代品，其容量顯著增加。 >性能基準
• 廣泛的測試驗證了3FS性能。 大型集群的讀取壓力測試即使在同時進行培訓工作流量。 Shmperpond Framework 天文，旨在補充3FS，是一個輕巧的分佈式數據處理框架。它使用DuckDB作為計算引擎，並在分佈式文件系統（例如3FS）上以鑲木格式存儲數據。 。
鑰匙太理龐德特徵

高性能： duckdb提供了用於有效數據處理的本地級別性能。 >

可伸縮性：

通過高性能分佈式文件系統處理PETABYTE尺度數據，而無需內存。

簡單：

由於缺乏長期服務或複雜的依賴性而易於部署和維護。 >>>>>>

有效的數據處理：分類大數據集的兩相方法可提高性能和效率（例如，在30分鐘內的8,192個分區中排序110.5 TIB）。
• 無縫3FS集成：利用3FS的高吞吐量和強大的一致性。
• 快速啟動：3FS和Smermpond 3fs安裝
• 克隆存儲庫並安裝依賴項：
  1. git clone https://github.com/deepseek-ai/3fs
  2. cd 3fs
  3. git submodule update --init --recursive
  4. ./patches/apply.sh

  請諮詢3FS文檔以獲取更多詳細信息。

  天短快速啟動

  • 確保安裝Python 3.8。

  • >安裝Skermpond：

    pip install smallpond

  • 初始化天簡會：

    import smallpond; sp = smallpond.init()

  • >加載鑲木木：

    df = sp.read_parquet("path/to/dataset/*.parquet")>

  • 重新分配數據（示例）：
    • df = df.repartition(3)
    • df = df.repartition(3, by_row=True)
    • df = df.repartition(3, hash_by="host")
  • 變換數據（示例）：
    • df = df.map('a b as c')
    • df = df.map(lambda row: {'c': row['a'] row['b']})
  • 保存數據：

    df.write_parquet("path/to/output/dataset.parquet")

  • 跑步的工作：

    sp.run(df)

  >故障排除和監視

  Smallpond提供監視和調試工具。日誌分析有助於解決執行問題。 可以通過官方支持渠道獲得全面的文檔，教程和用例。

  摘要
  > 3FS和Smermpond的開源釋放代表了數據處理的重大進步。他們的高性能，易用性以及一致性增強了開發人員和研究人員的能力。 這些工具為現代，數據密集型應用程序提供了強大的基礎架構。

以上是DeepSeek釋放3FS和Shmperpond框架的詳細內容。更多資訊請關注PHP中文網其他相關文章！