DeepGemm在DeepSeek开源周的第3天发布

> DeepSeek释放DeepGemm：AI

>的高性能FP8 GEMM库 作为#opensourceweek的一部分，DeepSeek揭开了DeepGemm，这是一个优化的尖端库，可为有效的FP8常规矩阵乘法（GEMMS）优化。 该库支持稠密和混合物（MOE）GEMM，证明对V3/R1型号训练和推理而言是无价的。 DeepGemm旨在显着提高AI工作量的性能和效率，从而加强了DeepSeek对开源创新的承诺。

？ #opensourceweek的第3天：deepgemm

介绍DeepGemm - FP8 GEMM库支持密集和Moe Gemms，为V3/R1培训和推理提供动力。

⚡hopper gpus上的最多1350 fp8 tflops

✅最小依赖性，旨在易于使用
✅完全编译的时间……

- DeepSeek（@deepseek_ai）2025年2月26日

此版本是在DeepSeek FlashMl（第1天）和DeepSeek Deepep（第2天）的成功推出之后。 目录的

表

什么是Gemm？

• 什么是fp8？
• 需要deepgemm
DeepGemm
• 的关键特征
>
• >性能基准
• >安装说明
• 结论

什么是Gemm？

一般矩阵乘法（GEMM）是一种基本线性代数操作，可乘以两个矩阵以产生第三个矩阵。 它的公式广泛使用，是：

GEMM对于模型性能优化至关重要，尤其是在神经网络培训和推理的深度学习中。

>此图表显示了GEMM，突出显示了瓷砖（将矩阵分为较小的块 - mtile，ntile，ktile），以优化加速使用。 这通过增强的数据局部性和并行性提高了性能。

>

什么是fp8？

> fp8（8位浮点）是一种高性能计算格式，可降低精度和有效的数值数据表示。 这对于处理机器学习中大型数据集的计算需求特别有益。 典型的FP8格式包括：

> 1个标志位

5个指数位

2个分数位
• >这种紧凑的结构可实现更快的计算和减少的内存使用情况，非常适合训练大型模型。 虽然精确度可能会略有损害，但这通常是可以接受的，即使是由于计算开销降低而导致性能提高。

此图像将FP8（E4M3和E5M2格式）与FP16和BF16进行了比较，说明了不同浮点格式的精度和范围之间的权衡。

>

需要深gemmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm的 DeepGemm通过为各种GEMM操作提供轻巧，高性能和用户友好的库来解决矩阵乘法挑战。

填补了在AI社区中优化FP8 GEMM的关键需求。

高性能，具有较小的内存足迹。

支持密集和MOE布局。
>对于大型AI模型培训和执行至关重要。
• >用专门的GEMM类型优化MOE体系结构。
直接增强了DeepSeek的AI模型。
受益于更广泛的AI开发生态系统。
DeepGemmMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM
• > DeepGemm的优势包括：
• 高性能：
• 在NVIDIA HOPPER GPU上最多可达到1350 FP8 TFLOPS。

轻量级设计：简化用法的最小依赖项。

即时汇编：

在运行时编译内核，以进行简化的用户体验。
• 简洁的核心逻辑：大约300行的核心代码，表现优于许多专家调整的内核。
• 支持各种布局：支持密集和两个MOE布局。
• 性能基准
DeepGemm在各种矩阵配置上的效率如下：
/

表/的自定义样式/ .custom-table { 宽度：100％； 边界爆发：崩溃； /确保边界不要加倍

/ 保证金：20px 0; } .custom-table th，.custom-table TD 边界：1PX实心＃000; /

可见边框

/ 填充：12px; /

舒适的填充/ 文字平衡：中心； /中心文本/ } .custom-table th { 背景色：＃f8f9fa; /浅灰色，用于标头

响应式调整/ @Media（最大宽度：768px）{ .custom-table th，.custom-table TD 字体大小：14px; /较小的屏幕上的较小文本/ 填充：8px; } } 表1：DeepGemm performance Benchmarks

表1：

>安装说明

DeepGemm安装很简单：

步骤1：先决条件
>料斗架构GPU（SM_90A）
• python 3.8
• > cuda 12.3（推荐：12.8）
>
• > pytorch 2.1
• Cutlass 3.6（可以是git子模块）
步骤2：克隆存储库

>

>

git clone --recursive [email protected]:deepseek-ai/DeepGEMM.git

步骤3：安装库

>

>

python setup.py install

步骤4：导入deepgemm

>

有关详细说明，请参见DeepGemm github存储库。

import deep_gemm

结论

DeepGemm是一个高性能的，用户友好的FP8 GEMM库，非常适合高级机器学习任务。 它的轻巧设计，速度和灵活性使其成为AI开发人员的宝贵工具。 检查Analytics Vidhya博客以获取有关DeepSeek的第4天版本的最新信息！

以上是DeepGemm在DeepSeek开源周的第3天发布的详细内容。更多信息请关注PHP中文网其他相关文章！