Nemotron-4-340B-Instructは、NVIDIAが開発した大規模言語モデル（LLM）で、英語の一問一答および多様な対話シーン向けに最適化されています。4096トークンのコンテキスト長をサポートし、教師あり微調整（SFT）、直接的選好最適化（DPO）、報酬認識選好最適化（RPO）などの追加の整合ステップを経て開発されました。約2万件の人工アノテーションデータに基づき、教師あり微調整と選好微調整のための98％以上の合成データを合成データ生成パイプラインによって生成しました。これにより、人間の対話選好、数学的推論、コーディング、指示遵守において優れたパフォーマンスを発揮し、様々なユースケース向けに高品質の合成データを生成できます。