DeepSeekは3FSをオープンソースとして公開し、高速並列ファイルシステムによるAIデータアクセスを最適化しました。

ChainCatcher のメッセージによると、DeepSeek の発表において、オープンソースウィークの5日目に、その Fire-Flyer ファイルシステム（3FS）が正式にオープンソース化されました。高性能の並列ファイルシステムとして、3FS は最新の SSD と RDMA ネットワークを最大限に活用し、高速データアクセスを実現し、AI モデルのトレーニングと推論の効率を向上させます。

3FS の主要性能指標：

• 180 ノードのクラスターで 6.6 TiB/s の総読み取りスループットを実現
• 25 ノードの GraySort ベンチマークテストで 3.66 TiB/分のスループットを達成
• 単一ノードの KVCache クエリのピークスループットが 40+ GiB/s を超える

3FS は分離型アーキテクチャを採用しており、データ前処理、データセットのロード、チェックポイントの保存/復元、埋め込みベクトル検索および推論 KVCache クエリをサポートし、強い一貫性のセマンティクスを備えています。DeepSeek は Smallpond データ処理フレームワークも同時に発表し、3FS のデータ管理能力をさらに最適化しました。