DeepSeek 开源第四弹公布，梁文锋亲自下场开发

昨日，来到了 DeepSeek 开源周的第四天，开源了 DualPipe 和 EPLB 两项技术，其中还有梁文锋亲自参与的项目。

具体来看，DualPipe 为一种用于 DeepSeek-V3 / R1 训练中，让「前向计算」和「反向传播」同时进行的双向管道并行算法，通过该算法能够减少训练过程中的空闲时间。根据技术报告，使用 DualPipe 技术的 DeepSeek-V3 预训练仅需 278.8 万 H800 GPU 小时，成本约为 557.6 万美元，这一成本远低于同规模模型的预期。

值得注意的是，DeepSeek 创始人梁文锋本人也参与了 DualPipe 的开发。

而 EPLB（Expert Parallel Load Balancing）是用于优化大型语言模型在专家并行（Expert Parallelism, EP）架构中的训练效率。它通过动态调整专家（MoE 模型中的子网络）的分配来平衡 GPU 之间的工作负载，同时减少跨节点通信开销。

此外，据 DeepSeek 近期公开分享出来的训练和推理框架，所涉及到性能分析数据也进一步披露了，开发者们能更好地理解通信-计算重叠策略和低级实现细节。性能分析数据是使用 PyTorch Profiler 捕获的，可以通过 Chrome 插件直接对其进行可视化，也可以当作一种性能检测的方式。

文章来源：爱范儿     作者：柯 铭源