2022年の世界的な生成AIブームを背景に、元始智能（RWKV）は2023年12月、天際資本より数千万人民元規模のエンジェルラウンド資金調達を実施しました。今回の調達により、企業価値は倍増し、調達資金はチーム拡大、新アーキテクチャ開発、製品商業化に充当されます。RWKVの登場は、従来のTransformerアーキテクチャに対する強力な挑戦です。大規模言語モデル（LLM）の発展に伴い、モデルのパラメータ規模はますます大きくなっていますが、幻覚や精度といった問題点も依然として残っています。

Meta AIが発表したLlama3.1モデルは、性能においてトップレベルのクローズドソースモデルに匹敵し、オープンソースAIの大きなブレイクスルーを意味します。これは次世代の大規模言語モデルであり、最適化されたトレーニングスタックと大規模GPUコンピューティングリソースによって支えられ、コンテキスト長を128Kに拡張、8言語に対応、複数のテスト分野で卓越した能力を示すなど、多くの技術的ハイライトを実現しています。反復的なポストトレーニングプロセスを通じて、モデルのパフォーマンスは継続的に向上し、特に指示への従順性、一貫性、多言語翻訳において優れた結果を示しています。

Google DeepMindは、百万規模のエキスパートモデルであるMixtureを提案する画期的な研究を発表しました。このモデルは、革新的なアーキテクチャを採用することで、Transformerベースのモデルを大きく進化させました。Mixtureは、10万を超えるマイクロエキスパートの中から効率的かつ迅速にスパース検索を行うことで、計算効率を維持しながらTransformerアーキテクチャの潜在能力を解き放つことに成功しています。最大のポイントは、パラメータ効率の高いエキスパート検索メカニズムであり、乗算キー技術による分離計算によって実現されています。

日進月歩の人工知能開発において、Etched社はTransformerと呼ばれるAIアーキテクチャに全てを賭けている。同社は最近、Transformer向けに設計された世界初の専用集積回路（ASIC）チップ「Sohu」を発表し、その性能は現在市場に出回っているGPUをはるかに凌駕し、AI分野に革命的な変化をもたらすと主張している。