DeepSeek 重磅文件系统宣布开源

昨日迎来了 DeepSeek 开源周的第五天，同时公布了许多人等待的 3FS 系统开源。

据悉，3FS 是幻方 AI 自研的高速读写文件系统，全称是萤火超算文件系统（Fire-Flyer File System），因为有三个连续的 F，因此被简称为 3FS。此前，3FS 作为内部专用技术，深度依赖幻方自研的超算集群硬件，需配合特定型号的交换机和网卡。

据了解，3FS 作为一个比较特殊的文件系统，它几乎只用在 AI 训练时计算节点中的模型批量读取样本数据这个场景上，通过高速的计算存储交互加快模型训练。

而本次 3FS 开源的版本通过全栈解耦、协议优化和生态兼容，将其发展为通用型 AI 存储基座。其中分解式架构通过将存储节点与计算节点物理分离，让数据流动不再受物理位置限制，同时通过 FFRecord 格式管理数据库，从而减少数据集加载耗时。

此外，3FS 的设计还包含 CRAQ 协议、SSD 物理块直读 + RDMA 等技术，实现了对 AI 训练底层逻辑的重新塑造。

文章来源：爱范儿     作者：柯 铭源