Zum Abschluss der Open-Source-Woche hat das führende chinesische KI-Unternehmen DeepSeek eine technologische „Atombombe“ gezündet und offiziell das Hochleistungs-Parallel-Dateisystem 3FS (Fire-Flyer File System) und das zugehörige Datenverarbeitungsframework Smallpond veröffentlicht, die speziell für moderne Rechenumgebungen entwickelt wurden. Diese Kombination zielt direkt auf die Herausforderungen der Datenverarbeitung beim KI-Training und -Inferencing ab und erreicht mit einer Cluster-Durchsatzrate von 6,6 TiB/s einen neuen Branchenrekord. Dies markiert den Beginn einer neuen Ära für verteilte Speichertechnologien.
Revolutionäre Leistung: Architekturinnovation definiert neue Standards
3FS erreicht durch eine dezentrale Architektur und ein konsistentes Semantikdesign in einem 180-Knoten-Cluster einen aggregierten Lese-Durchsatz von 6,6 TiB/s. Der Spitzenwert für die KVCache-Suche pro Knoten übersteigt 40 GiB/s. Der GraySort-Benchmark-Test erreicht 3,66 TiB/min (25 Knoten), eine exponentielle Verbesserung gegenüber traditionellen Lösungen. Das System optimiert die Eigenschaften von SSDs und RDMA-Netzwerken umfassend und nutzt die Bandbreite der Hardware maximal aus, um KI-Trainingscluster mit Tausenden von GPUs mit stabilen Daten zu versorgen.
Neugestaltung von Szenarien: Ganzheitliche Unterstützung des KI-Workflows
Als Kerninfrastruktur der DeepSeek V3/R1-Version ist 3FS vollständig in die kritischen Phasen der Datenvorverarbeitung, der Checkpoint-Speicherung, der Vektorsuche und des Inferencing-Caches integriert. Das Design der gemeinsam genutzten Speicherebene vereinfacht die Komplexität der verteilten Entwicklung deutlich, während die starke Konsistenz den sicheren Betrieb bei gleichzeitigen Operationen in großem Umfang gewährleistet. Das ebenfalls Open-Source-basierte Smallpond-Framework bietet zudem eine leichtgewichtige Datenverarbeitungsfähigkeit im Petabyte-Bereich und schafft mithilfe von DuckDB ein „serverloses“ Daten-Engineering, wodurch ein vollständiger geschlossener Kreislauf von der Speicherung bis zur Berechnung entsteht.
Open-Source-Strategie: Beschleunigung der Demokratisierung der KI-Infrastruktur
Die gemeinsame Veröffentlichung von 3FS und Smallpond setzt die „fünf Tage in Folge“-Strategie der technischen Offenlegung von DeepSeek fort. Durch die Veröffentlichung des im eigenen KI-Geschäft erprobten Systems fördert DeepSeek den Durchbruch der Branche bei den Speicherengpässen datenintensiver Anwendungen. Analysten gehen davon aus, dass diese Lösung traditionelle verteilte Systeme wie Ceph und Lustre übertreffen wird, insbesondere bei der Entwicklung großer Modelle neue Paradigmen schaffen wird.