Mambaチームの研究成果は、大規模TransformerモデルLlamaをMambaに「蒸留」することに焦点を当てています。新規の推理解読アルゴリズムを設計することで、推論速度を大幅に向上させました。研究の目的は、Llamaの豊富な知識を活用しながら、大規模モデルをゼロから訓練することによる高コストを削減することです。漸進的蒸留、教師あり微調整、指向性選好最適化などの手法を組み合わせることで、Zephyr-7BとLlama-38Bを線形RNNに成功裏に変換しました。