Semaine de la semaine Open Source Deepseek Jour 5: Système de fichiers 'Power Lupt' Fire-Flyer

Deepseek Open Source Project ajoute une autre arme! Aujourd'hui, un nouveau système de fichiers parallèles 3FS a été publié pour permettre l'accès aux données Deepseek.

3FS (Système de fichiers Fire-Flyer) utilise pleinement la bande passante élevée des réseaux SSD et RDMA modernes pour atteindre un débit de lecture d'agrégation jusqu'à 6,6 TIB / s dans un cluster de 180 nœuds, et un débit de 3,66 TIB / min dans le test de benchmark GraySort d'un cluster de 25 nœuds. Le débit de pointe de la recherche KVCache pour un seul nœud client dépasse 40 GIB / s.

Le système adopte une architecture distincte, prend en charge une forte sémantique de cohérence et peut efficacement prendre en charge le prétraitement des données de formation, le chargement des ensembles de données, l'enregistrement / la surcharge de point de contrôle, la recherche de vecteurs intégrés et la recherche KVCache en inférence dans V3 / R1.

L'équipe Deepseek a déclaré que 3FS vise à fournir des solutions de stockage et d'accès efficaces et fiables pour ses tâches à forte intensité de données, accélérant ainsi le processus de recherche et développement de l'IA.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!