Expert Specialized Fine-Tuning

定制化大型语言模型的专业微调工具

普通产品编程大型语言模型微调

Expert Specialized Fine-Tuning (ESFT) 是一种针对具有专家混合(MoE)架构的大型语言模型(LLMs)的高效定制化微调方法。它通过仅调整与任务相关的部分来优化模型性能，提高效率，同时减少资源和存储的使用。

安装依赖并下载必要的适配器以快速启动。
使用 eval.py 脚本来评估模型在不同数据集上的性能。
使用 get_expert_scores.py 脚本来计算每个专家基于评估数据集的分数。
使用 generate_expert_config.py 脚本来生成配置，以转换仅基于任务相关任务训练的 MoE 模型。

ESFT 适合需要对大型语言模型进行定制化微调的研究人员和开发者。它能够帮助他们提高模型在特定任务上的性能，同时降低资源消耗。

研究人员使用 ESFT 微调模型以提高在自然语言处理任务上的表现。
开发者利用 ESFT 优化模型，以适应特定行业的语言处理需求。
教育机构采用 ESFT 来定制教学辅助模型，提高教学互动性。

1. 克隆或下载 ESFT 项目到本地。
2. 进入 esft 目录，安装所需的依赖项。
3. 下载必要的适配器以适配不同的大型语言模型。
4. 使用 eval.py 脚本来评估模型在特定数据集上的性能。
5. 根据评估结果，使用 get_expert_scores.py 脚本来计算专家分数。

打开网站

Expert Specialized Fine-Tuning 最新流量情况

月总访问量

494758773

跳出率

37.69%

平均页面访问数

5.7

平均访问时长

00:06:29

Expert Specialized Fine-Tuning 访问量趋势

Expert Specialized Fine-Tuning 访问地理位置分布

Expert Specialized Fine-Tuning 流量来源

Expert Specialized Fine-Tuning 替代品

Best AI Websites & Tools

Expert Specialized Fine-Tuning

Expert Specialized Fine-Tuning 最新流量情况

Expert Specialized Fine-Tuning 访问量趋势

Expert Specialized Fine-Tuning 访问地理位置分布

Expert Specialized Fine-Tuning 流量来源

Expert Specialized Fine-Tuning 替代品

Llama-3.3-70B-Instruct — 70亿参数的多语言大型语言模型

WorkflowLLM — 数据驱动的框架，增强大型语言模型的工作流编排能力

Meta-Llama-3.1-70B — 70亿参数的大型多语言文本生成模型

Llama-3-70B-Tool-Use — 70B参数量的大型语言模型，专为工具使用优化

Higgs-Llama-3-70B — 专为角色扮演优化的大型语言模型

AIKit — 开源大型语言模型的托管、部署、构建和微调一站式解决方案。

Llama-3[8B] Meditron V1.0 — 一款基于生物医学数据的8亿参数大型语言模型

InternVL2_5-2B-MPO — 先进的多模态大型语言模型

InternVL2_5-1B-MPO — 多模态大型语言模型，提升视觉和语言的综合理解能力

ExploreToM — 大规模生成多样且具有挑战性的心理理论数据的框架

EXAONE-3.5-32B-Instruct-GGUF — LG AI Research开发的多语言、高性能大型语言模型

CosyVoice 2 — 可扩展的流媒体语音合成技术，结合大型语言模型。

Command R7B — 快速高效的生成型AI模型

InternVL 2.5 — 开源多模态大型语言模型系列

InternVL2_5-4B — 多模态大型语言模型，融合视觉与语言理解。

MLPerf Client — 个人电脑AI性能基准测试

InternVL2_5-2B — 多模态大型语言模型，支持图像与文本的深度交互

InternVL2_5-1B — 多模态大型语言模型，支持图像和文本理解

InternVL2_5-8B — 多模态大型语言模型，支持图像与文本的交互理解。

InternVL2_5-26B — 多模态大型语言模型，融合视觉与语言理解。

InternVL2_5-38B — 先进的多模态大型语言模型系列

InternVL2_5-78B — 先进多模态大型语言模型系列

Sandbox Fusion — 多功能代码沙箱，适用于大型语言模型。

OLMo 2 7B — 7B参数的大型语言模型，提升自然语言处理能力

Star-Attention — 高效长序列大型语言模型推理技术

Mistral-Large-Instruct-2411 — 123B参数的大型语言模型，具备先进推理和编码能力。

Qwen2.5-Coder-1.5B-Instruct-GGUF — Qwen2.5-Coder系列的1.5B参数指令调优模型

Pixtral-Large-Instruct-2411 — 124B参数的多模态大型语言模型

ultravox-v0_4_1-llama-3_1-70b — 多模态语音大型语言模型