XTuner
高效灵活的大规模模型微调工具包
普通产品编程机器学习深度学习
XTuner是一个为大型模型(如InternLM, Llama, Baichuan, Qwen, ChatGLM)设计的高效、灵活且功能齐全的微调工具包。它支持在几乎所有GPU上进行LLM和VLM的预训练和微调,能够自动调度高性能操作,如FlashAttention和Triton内核,以提高训练吞吐量。XTuner与DeepSpeed兼容,支持多种ZeRO优化技术。它还支持各种LLMs和VLM(如LLaVA),并设计了良好的数据管道,能够适应任何格式的数据集。此外,XTuner支持多种训练算法,包括QLoRA、LoRA和全参数微调,使用户能够选择最适合其需求的解决方案。
XTuner 最新流量情况
月总访问量
494758773
跳出率
37.69%
平均页面访问数
5.7
平均访问时长
00:06:29