phixtral-2x2_8は、2つのmicrosoft/phi-2モデルを組み合わせた、初の混合専門家モデルです。mistralai/Mixtral-8x7B-v0.1アーキテクチャを参考に設計されており、個々の専門家モデルを上回る性能を示します。AGIEval、GPT4All、TruthfulQA、Bigbenchなど、複数の評価指標において優れた結果を達成しています。カスタム版のmergekitライブラリ（mixtralブランチ）と特定の設定を使用しています。ユーザーは、Colabノートブック上で、無料のT4 GPUを用いて、4bit精度でPhixtralを実行できます。モデルサイズは4.46Bパラメーター、テンソル型はF16です。