Meta社は先日、画期的な研究成果を発表しました。同社は、大規模言語モデル（LLM）の事実精度を大幅に向上させ、前例のない規模でのパラメーター拡張を実現する、新型メモリ層技術を開発しました。この技術は、従来のニューラルネットワークの拡張方法に挑戦するだけでなく、将来のAIアーキテクチャ設計に新たな方向性を提供します。この研究の中核は、学習可能なキーバリュー検索メカニズムを利用して、計算量（FLOPs）を増やすことなくモデルに追加パラメーターを追加することです。この手法の中核的な考え方は…

大規模言語モデル（LLMs）は優れた自然言語処理能力で知られていますが、実際には推論段階で高い計算コストとメモリ消費の問題に直面しています。LLMsの効率性を向上させるため、研究者らはQ-Sparseと呼ばれる技術を導入しました。Q-Sparse手法は、活性化にtop-Kスパース化とストレートスルー推定器を適用することで、完全スパース活性化の状態圧縮を実現し、推論効率を大幅に向上させます。研究によると、Q-Sparseは結果を維持したまま...