DeepSeek开源周第五天:Fire-Flyer,解锁AI存储新方式!
DeepSeek开源周第五天:Fire-Flyer,解锁AI存储新方式!
article.author.display_name
李笑寅
Fire-Flyer是专为高性能计算打造的高性能分布式文件系统,旨在应对AI训练和推理工作负载中的挑战,解决“高吞吐写入”与“低延迟读取”难兼顾的痛点。
开源第五弹!DeepSeek宣布开源Fire-Flyer文件系统(3FS),实现高速数据访问。
Fire-Flyer是专为高性能计算打造的高性能分布式文件系统,旨在应对AI训练和推理工作负载中的挑战,解决“高吞吐写入”与“低延迟读取”难兼顾的痛点。
据介绍,3FS采用了解耦架构(Disaggregated Architecture),将数千块SSD的吞吐量与数百个存储节点的网络带宽结合起来,使得应用程序可以以“位置无关”的方式访问存储资源。
举例来说,解耦架构类似于把成千上万个“高速传送带”(SSD硬盘)和“运输车队”(网络带宽)整合成一个大仓库,程序如果要存取数据,就像在手机下单快递,完全不用关心货物到底存在哪个货架。
其次,3FS的强一致性通过分配查询 (CRAQ) 实现链式复制,确保所有环节节点拿到的都是最新数据,不会出现"有人拿到旧版本"的混乱场景,使应用程序代码简单且易于推理。
性能优势方面,3FS能在180节点集群中实现6.6TiB/s总读取吞吐量;在25节点GraySort基准测试中达到3.66TiB/分钟吞吐量;单节点KVCache查询峰值吞吐量超40+GiB/s。
一句话,Fire-Flyer可以看作是一个强大的共享存储层,专门解决AI吃数据"又急又多"的难题,不仅存得快,而且找得准。
风险提示及免责条款
共有 0 条评论