LLaMa2langは、LLaMa2-7bを特定言語のチャットモデルに最適化する便利なスクリプトです。HuggingfaceのOpen Assistantデータセットを基盤データとして使用し、OPUS翻訳モデルを用いて目的言語に完全に翻訳します。その後、LLaMa2のプロンプトフォーマットを使用して、翻訳済みのデータセットをチャットモデルの入力フォーマットに変換します。最後に、QLoRAとPEFTを用いてLLaMa2-chatをファインチューニングします。LLaMa2langを使用することで、英語以外のあらゆる言語向けにチャットに適したLLaMa2モデルを作成できます。