Cerebras Systems gab kürzlich die Erweiterung um sechs neue Rechenzentren in Nordamerika und Europa bekannt, um seine Fähigkeiten im Bereich der künstlichen Intelligenz (KI)-Inferenz zu verbessern. Dieser Schritt wird die Rechenleistung des Unternehmens erheblich steigern und die Entwicklung verschiedener KI-Anwendungen unterstützen. Geplant ist, dass 85 % der Rechenleistung in den USA konzentriert werden, wobei drei Einrichtungen in San Clara, Stockton (Kalifornien) und Dallas (Texas) bereits in Betrieb sind. Weitere neue Zentren werden in Minneapolis (voraussichtlich Q2 2025), Oklahoma City und Montreal folgen.

Das einheimische große Sprachmodell DeepSeek hat sich kürzlich im globalen KI-Bereich einen Namen gemacht und seine technischen Fähigkeiten beeindruckt. Gleichzeitig wurde es jedoch auch mit Bedrohungen durch externe Cyberangriffe konfrontiert. Vor diesem Hintergrund gab Zhou Hongyi, Gründer der 360 Gruppe, bekannt, dass 360 DeepSeek kostenlosen und umfassenden Schutz im Bereich der Cybersicherheit bieten wird, um die Entwicklung einheimischer KI-Technologien tatkräftig zu unterstützen.

Die Forschungsergebnisse des Mamba-Teams konzentrieren sich darauf, das große Transformer-Modell Llama zu Mamba zu „destillieren“, indem ein neuartiger Inferenz-Decodierungsalgorithmus entwickelt wird, der die Inferenzgeschwindigkeit deutlich verbessert. Das Forschungsziel besteht darin, das umfangreiche Wissen von Llama zu nutzen und gleichzeitig die hohen Kosten für das Training großer Modelle von Grund auf zu senken. Das Forschungsteam kombinierte progressive Destillation, überwachtes Feintuning und gerichtete Präferenzoptimierung, um Zephyr-7B und Llama-38B erfolgreich in lineare RNNs umzuwandeln.

Die T-MAC-Technologie (Table-Lookup-based MAC) zielt darauf ab, die Probleme mit Speicher und Rechenleistung bei der Bereitstellung großer Sprachmodelle (LLMs) auf Edge-Geräten zu lösen. Durch die Quantisierung der Modellgewichte zu Low-Bit-Darstellungen ersetzt T-MAC herkömmliche Multiplikationsoperationen durch Lookup-Tabellen (LUT) und erhöht so die Effizienz auf CPUs deutlich. Diese Methode reduziert den benötigten Speicherplatz erheblich, sodass LLMs mit Milliarden von Parametern effizient auf ressourcenbeschränkten Geräten ausgeführt und ein intelligentes Upgrade ermöglicht werden kann. Im Vergleich zu bestehenden Implementierungen bietet T-

Die Kimi Open Platform hat kürzlich die bevorstehende geschlossene Beta-Phase für die mit Spannung erwartete Context Caching-Funktion angekündigt. Diese innovative Funktion unterstützt große Sprachmodelle für lange Texte und bietet Benutzern durch einen effizienten Kontext-Caching-Mechanismus ein bisher unerreichtes Erlebnis. Laut Kimi Open Platform ist Context Caching eine Spitzentechnologie, die durch das Cachen redundanter Token-Inhalte die Kosten für Benutzeranfragen bei gleichen Inhalten erheblich senkt. Das Funktionsprinzip besteht darin, bereits verarbeitete Texte intelligent zu erkennen und zu speichern.

GPT Pilot ist ein revolutionäres Programmierwerkzeug, das die Entwicklungsgeschwindigkeit um das 20-fache steigern kann. Es arbeitet mit Entwicklern zusammen und kann den Großteil des Codes in Anwendungen schreiben. Durch flexible Auswahlmöglichkeiten an Anforderungen lassen sich vielseitige Anwendungen erstellen. Die Verwendung von Test Driven Development (TDD) stellt die Qualität des generierten Codes sicher. Es repräsentiert die Zukunft der Anwendungsentwicklung – eine perfekte Zusammenarbeit zwischen Entwicklern und KI.

1. Broadcom hat auf der ECOC 2023 einen 5-nm-200G/Kanal-PAM-Chip BCM85822 vorgestellt. 2. Der Chip integriert einen Lasertreiber und nutzt die PAM-4-Modulation für eine führende Leistung. 3. Der BCM85822 ermöglicht eine Switching-Kapazität von 51,2 Tbit/s und erhöht die Dichte von Rechenzentrumsnetzwerken. 4. Der neue Chip unterstützt das Ziel von 200 Gbit/s sowohl elektrisch als auch über Glasfaser. 5. Der BCM85822 unterstützt die Migration von KI-Workloads von 800 Gbit/s auf 1,6 Tbit/s.