XTuner
効率的で柔軟な大規模モデル微調整ツールキット
一般製品プログラミング機械学習深層学習
XTunerは、InternLM、Llama、Baichuan、Qwen、ChatGLMなどの大規模言語モデル(LLM)向けに設計された、効率的で柔軟性が高く、機能豊富な微調整ツールキットです。ほぼすべてのGPU上でのLLMおよびVLMの事前学習と微調整をサポートし、FlashAttentionやTritonカーネルなどの高性能操作を自動的にスケジュールして、トレーニングスループットを向上させます。XTunerはDeepSpeedと互換性があり、様々なZeRO最適化技術をサポートしています。また、様々なLLMとVLM(LLaVAなど)をサポートし、あらゆる形式のデータセットに対応できる優れたデータパイプラインを備えています。さらに、XTunerはQLoRA、LoRA、全パラメーター微調整を含む様々なトレーニングアルゴリズムをサポートしており、ユーザーはニーズに最適なソリューションを選択できます。
XTuner 最新のトラフィック状況
月間総訪問数
474564576
直帰率
36.20%
平均ページ/訪問
6.1
平均訪問時間
00:06:34