DeepSeek 发布 DeepGEMM：支持细粒度缩放的高效 FP8 矩阵乘法内核库

核心要点

• 高性能内核库：DeepGEMM 是一个统一的高性能张量核心（Tensor Core）内核库。
• 核心计算原语：专注于大语言模型（LLM）中最关键的计算任务——GEMM（通用矩阵乘法）。
• FP8 精度支持：实现了高效且简洁的 FP8 GEMM 内核，适应现代硬件加速需求。
• 细粒度缩放：支持细粒度缩放（Fine-grained Scaling）技术，优化计算精度与性能的平衡。

详细分析

统一的高性能计算框架

DeepGEMM 由 deepseek-ai 开发并开源，其核心定位是为现代大语言模型提供底层计算支持。通过集成统一的张量核心内核，DeepGEMM 能够处理复杂的矩阵运算。作为 LLM 计算的基础，GEMM 的效率直接决定了模型的推理速度和训练成本，DeepGEMM 的出现旨在通过优化内核设计来最大化硬件性能。

FP8 精度与细粒度缩放的结合

在当前的 AI 计算趋势中，FP8（8位浮点数）因其在保持足够精度的同时能显著降低带宽和计算开销而备受关注。DeepGEMM 不仅实现了高效的 FP8 GEMM 内核，还引入了细粒度缩放技术。这种技术允许在计算过程中进行更精确的数值调整，从而在低精度计算中尽可能减少精度损失，确保大模型在高效运行的同时保持输出质量。

行业影响

DeepGEMM 的开源标志着大模型底层算子库的进一步透明化和优化。对于 AI 行业而言，DeepSeek 提供的这一工具能够帮助开发者更有效地利用现代 GPU 的 FP8 计算能力，降低大语言模型的部署门槛。通过提供简洁且高效的内核实现，它为追求极致性能的 LLM 研发团队提供了重要的技术参考和基础设施支持。

常见问题

DeepGEMM 主要解决什么问题？

DeepGEMM 主要解决大语言模型中 GEMM（通用矩阵乘法）计算的效率问题，特别是针对 FP8 精度下的高性能实现和细粒度缩放支持。

谁可以从 DeepGEMM 中受益？

从事大语言模型训练、推理优化以及高性能计算（HPC）内核开发的工程师和研究人员可以利用该库提升其模型的计算性能。