LongLLaMAは、長文を処理できる大規模言語モデルです。OpenLLaMAをベースに、Focused Transformer (FoT)手法を用いてファインチューニングされています。最大256kトークン以上のテキストを処理可能です。本モデルは、比較的軽量な3Bパラメータのベースモデル（指示調整なし）と、Hugging Face上で長文コンテキスト推論に対応したコードを提供しています。既存実装におけるLLaMAの代替として（最大2048トークンの短文コンテキスト向け）、モデルウェイトをご利用いただけます。また、評価結果と元のOpenLLaMAモデルとの比較結果も公開しています。