LongRoPE
大規模言語モデル(LLM)のコンテキストウィンドウを200万トークンに拡張する技術
一般製品その他LLMコンテキスト拡張
LongRoPEは、Microsoftが開発した技術であり、事前学習済みの大規模言語モデル(LLM)のコンテキストウィンドウを2048k(200万)トークンに拡張することで、短いコンテキストから長いコンテキストへの拡張を実現します。これにより、トレーニングコストと時間を削減しながら、元の短いコンテキストウィンドウのパフォーマンスを維持できます。長文テキストに対する言語モデルの理解力と生成能力の向上に適しており、機械読解、テキスト要約、長文生成などのタスクの性能向上に役立ちます。
LongRoPE 最新のトラフィック状況
月間総訪問数
474564576
直帰率
36.20%
平均ページ/訪問
6.1
平均訪問時間
00:06:34