Google DeepMindは、百万規模のエキスパートモデルであるMixtureを提案する画期的な研究を発表しました。このモデルは、革新的なアーキテクチャを採用することで、Transformerベースのモデルを大きく進化させました。Mixtureは、10万を超えるマイクロエキスパートの中から効率的かつ迅速にスパース検索を行うことで、計算効率を維持しながらTransformerアーキテクチャの潜在能力を解き放つことに成功しています。最大のポイントは、パラメータ効率の高いエキスパート検索メカニズムであり、乗算キー技術による分離計算によって実現されています。