O phixtral-2x2_8 é o primeiro modelo especialista híbrido criado a partir de dois modelos microsoft/phi-2, inspirado na arquitetura mistralai/Mixtral-8x7B-v0.1. Seu desempenho supera o de cada modelo especialista individual. O modelo apresenta resultados excepcionais em diversos benchmarks de avaliação, incluindo AGIEval, GPT4All, TruthfulQA e Bigbench. Ele utiliza uma versão personalizada da biblioteca mergekit (ramo mixtral) e uma configuração específica. Usuários podem executar o Phixtral em uma GPU T4 gratuita com precisão de 4 bits em um notebook Colab. O modelo tem 4,46B de parâmetros e utiliza o tipo de tensor F16.