Mambaチームの研究成果は、大規模TransformerモデルLlamaをMambaに「蒸留」することに焦点を当てています。新規の推理解読アルゴリズムを設計することで、推論速度を大幅に向上させました。研究の目的は、Llamaの豊富な知識を活用しながら、大規模モデルをゼロから訓練することによる高コストを削減することです。漸進的蒸留、教師あり微調整、指向性選好最適化などの手法を組み合わせることで、Zephyr-7BとLlama-38Bを線形RNNに成功裏に変換しました。

フランスのAIスタートアップ企業Mistralが、Codestral Mambaという新しいコーディングモデルを発表しました。このモデルは処理速度が速く、256,000トークンを超える長いテキストを効率的に処理できることが特徴で、市場の競合製品を大きく上回っています。効率的なMambaアーキテクチャに基づいており、優れたプログラミング性能を示し、特にローカルのコーディングプロジェクトに適しています。同時に、Mistralは数学的推論とSTEM分野のアプリケーションに特化したMathstralも発表しており、どちらもオープンソースライセンスで提供され、…を含んでいます。