phixtral-2x2_8 est le premier modèle expert mixte créé à partir de deux modèles microsoft/phi-2, inspiré de l'architecture mistralai/Mixtral-8x7B-v0.1. Ses performances dépassent celles de chaque modèle expert individuel. Ce modèle excelle sur plusieurs métriques d'évaluation, notamment AGIEval, GPT4All, TruthfulQA et Bigbench. Il utilise une version personnalisée de la librairie mergekit (branche mixtral) et une configuration spécifique. Les utilisateurs peuvent exécuter Phixtral sur un GPU T4 gratuit avec une précision de 4 bits sur un notebook Colab. Le modèle comporte 4,46 milliards de paramètres et utilise le type de tenseur F16.