Deepseek Open Source Week 5: 'Power Thruster' Fire-Flyer-Dateisystem

Das Deepseek Open Source -Projekt fügt eine weitere Waffe hinzu! Heute wurde ein neues paralleles Dateisystem 3FS veröffentlicht, um den Zugriff auf den Deepseek -Daten zu ermöglichen.

3FS (Fire-Flyer-Dateisystem) nutzt die hohe Bandbreite der modernen SSD- und RDMA-Netzwerke voll, um eine Aggregation durch den Durchsatz von bis zu 6,6 TIB/s in einem 180-Knoten-Cluster und einem Durchsatz von 3,66 TIB/min im Graysort-Benchmark-Test eines 25-Knoten-Cluster zu erreichen. Der Spitzenwert der KVCACHE -Suche nach einem einzelnen Client -Knoten übersteigt 40 GIB/s.

Das System nimmt eine separate Architektur an, unterstützt eine starke Konsistenzsemantik und kann die Vorbereitung der Schulungsdaten, das Laden von Datensatz, das Sparen/Überladen von Datensatzen, die Suche nach eingebetteter Vektor und die KVCACHE -Suche in Inferenz in V3/R1 effektiv unterstützen.

Das Deepseek-Team sagte, dass 3FS darauf abzielt, effiziente und zuverlässige Speicher- und Zugangslösungen für seine datenintensiven Aufgaben bereitzustellen und damit den KI-Forschung und -entwicklungsprozess zu beschleunigen.

Das obige ist der detaillierte Inhalt vonDeepseek Open Source Week 5: 'Power Thruster' Fire-Flyer-Dateisystem. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!