Das chinesische KI-Unternehmen DeepSeek gab am dritten Tag seiner „Open-Source-Woche“ die Veröffentlichung von DeepGEMM bekannt – einer Open-Source-Bibliothek, die die FP8-General Matrix Multiplication (GEMM) unterstützt. Dieses Tool wurde für dichte und Mixed-Expert (MoE)-Matrixoperationen entwickelt und bietet leistungsstarke Unterstützung für das Training und die Inferenz der DeepSeek V3- und R1-Modelle. Die offizielle Ankündigung erfolgte über die X-Plattform und löste in der Tech-Community sofort Begeisterung aus.
Laut einem Post des offiziellen DeepSeek-Accounts kann DeepGEMM auf NVIDIA Hopper-GPUs eine FP8-Rechenleistung von bis zu 1350+ TFLOPS erreichen. Sein Kern-Logik besteht aus etwa 300 Codezeilen und übertrifft dennoch in den meisten Matrixgrößen speziell abgestimmte Kernels, was seine hohe Effizienz und Einfachheit unterstreicht. Die Bibliothek benötigt keine komplexen Abhängigkeiten, verwendet Just-in-Time (JIT)-Technologie, unterstützt dichte Layouts und zwei MoE-Layouts und ist „tutorial-artig sauber“ gestaltet, was das Lernen und die Verwendung für Entwickler vereinfacht.
Der X-Nutzer @TechBitDaily kommentierte: „Die Veröffentlichung von DeepGEMM ist ein Highlight der Open-Source-Woche von DeepSeek. Seine FP8-Leistung und sein schlankes Design sind beeindruckend.“ Ein anderer Nutzer, @AIObserverCN, hob den bemerkenswerten Vorteil hervor, dass die Bibliothek das effiziente Training von MoE-Modellen unterstützt, was weitere Innovationen in der KI-Community auf der Hopper-Architektur fördern könnte.
Als Teil der Open-Source-Woche setzt die Veröffentlichung von DeepGEMM DeepSeks Engagement für Transparenz und Community-Zusammenarbeit in der KI-Technologie fort. In den vorherigen zwei Tagen hatte das Unternehmen bereits die Tools FlashMLA und DeepEP veröffentlicht, die sich auf schnelle Sprachmodellarchitekturen bzw. spezialisierten parallelen Kommunikation konzentrieren. Die Einführung von DeepGEMM demonstriert erneut DeepSeks technische Kompetenz im Aufbau von KI-Infrastruktur. Branchenexperten glauben, dass diese Bibliothek nicht nur die Leistung der eigenen Modelle von DeepSeek verbessern wird, sondern auch globalen Entwicklern ein effizientes und benutzerfreundliches Tool für Matrixoperationen zur Verfügung stellen wird, das zukünftig eingesetzt werden kann. Nutzer können DeepGEMM jetzt über GitHub beziehen und sein Potenzial im KI-Training und der Inferenz erkunden.
Projekt-Adresse: https://github.com/deepseek-ai/DeepGEMM