人工知能分野において、DeepSeekチームは先日、NSA（Native Sparse Attention）と呼ばれる革新的なスパースアテンション機構に関する最新の研究成果を発表しました。この技術の中心的な目的は、長文脈の学習と推論の速度を向上させることであり、特に最新のハードウェア向けに最適化されており、学習と推論の効率が大幅に向上します。NSA技術の発表は、人工知能モデルの学習に大きな変化をもたらしました。まず、最新の計算ハードウェアに合わせた一連の...

近年、超長文脈ウィンドウを持つ大規模言語モデル（LLM）が注目を集めています。これらのモデルは、数十万、場合によっては数百万ものトークンを1つのプロンプトで処理でき、開発者にとって多くの新しい可能性を切り開きます。しかし、これらの長文脈LLMは、受信した大量の情報をどの程度うまく理解し、活用できるのでしょうか？この問題に対処するため、Google DeepMindの研究者らは、長文脈推論能力を評価することを目的としたMichelangeloという新しいベンチマークを発表しました。研究結果は、

長文脈理解は自然言語処理分野における重要な課題であり、特に大規模言語モデル（LLM）がコンテキストウィンドウサイズを超えるテキストを処理する場合に顕著です。この問題に対処するため、研究者らはLooGLEベンチマークテストを開発しました。これは、超長文書（平均19.3k単語、計776篇、多様な分野を網羅）を処理する際のLLMの長文脈理解能力を評価することを目的としています。LooGLEは、短依存関係と長依存関係を網羅する7つのタスクを含んでおり、様々な長さのテキストに対するモデルの理解度を評価します。テストデータは2022年以降の公開文献から取得されています。