phixtral-2x2_8
混合专家模型,性能优于单个专家模型
普通产品生产力混合专家模型文本生成
phixtral-2x2_8是第一个由两个microsoft/phi-2模型制作的混合专家模型,受到mistralai/Mixtral-8x7B-v0.1架构的启发。其性能优于每个单独的专家模型。该模型在AGIEval、GPT4All、TruthfulQA、Bigbench等多个评估指标上表现优异。它采用了自定义版本的mergekit库(mixtral分支)和特定配置。用户可以在Colab notebook上以4位精度在免费的T4 GPU上运行Phixtral。模型大小为4.46B参数,张量类型为F16。
phixtral-2x2_8 最新流量情况
月总访问量
20899836
跳出率
46.04%
平均页面访问数
5.2
平均访问时长
00:04:57