Expert Specialized Fine-Tuning

定制化大型语言模型的专业微调工具

普通产品编程大型语言模型微调

Expert Specialized Fine-Tuning (ESFT) 是一种针对具有专家混合(MoE)架构的大型语言模型(LLMs)的高效定制化微调方法。它通过仅调整与任务相关的部分来优化模型性能，提高效率，同时减少资源和存储的使用。

安装依赖并下载必要的适配器以快速启动。
使用 eval.py 脚本来评估模型在不同数据集上的性能。
使用 get_expert_scores.py 脚本来计算每个专家基于评估数据集的分数。
使用 generate_expert_config.py 脚本来生成配置，以转换仅基于任务相关任务训练的 MoE 模型。

ESFT 适合需要对大型语言模型进行定制化微调的研究人员和开发者。它能够帮助他们提高模型在特定任务上的性能，同时降低资源消耗。

研究人员使用 ESFT 微调模型以提高在自然语言处理任务上的表现。
开发者利用 ESFT 优化模型，以适应特定行业的语言处理需求。
教育机构采用 ESFT 来定制教学辅助模型，提高教学互动性。

1. 克隆或下载 ESFT 项目到本地。
2. 进入 esft 目录，安装所需的依赖项。
3. 下载必要的适配器以适配不同的大型语言模型。
4. 使用 eval.py 脚本来评估模型在特定数据集上的性能。
5. 根据评估结果，使用 get_expert_scores.py 脚本来计算专家分数。

打开网站

Expert Specialized Fine-Tuning 最新流量情况

月总访问量

515580771

跳出率

37.20%

平均页面访问数

5.8

平均访问时长

00:06:42

Expert Specialized Fine-Tuning 访问量趋势

Expert Specialized Fine-Tuning 访问地理位置分布

Expert Specialized Fine-Tuning 流量来源

Expert Specialized Fine-Tuning 替代品

Best AI Websites & Tools

Expert Specialized Fine-Tuning

Expert Specialized Fine-Tuning 最新流量情况

Expert Specialized Fine-Tuning 访问量趋势

Expert Specialized Fine-Tuning 访问地理位置分布

Expert Specialized Fine-Tuning 流量来源

Expert Specialized Fine-Tuning 替代品

WorkflowLLM — 数据驱动的框架，增强大型语言模型的工作流编排能力

Meta-Llama-3.1-70B — 70亿参数的大型多语言文本生成模型

Llama-3-70B-Tool-Use — 70B参数量的大型语言模型，专为工具使用优化

Higgs-Llama-3-70B — 专为角色扮演优化的大型语言模型

AIKit — 开源大型语言模型的托管、部署、构建和微调一站式解决方案。

Llama-3[8B] Meditron V1.0 — 一款基于生物医学数据的8亿参数大型语言模型

Mistral-Large-Instruct-2411 — 123B参数的大型语言模型，具备先进推理和编码能力。

Qwen2.5-Coder-1.5B-Instruct-GGUF — Qwen2.5-Coder系列的1.5B参数指令调优模型

Pixtral-Large-Instruct-2411 — 124B参数的多模态大型语言模型

ultravox-v0_4_1-llama-3_1-70b — 多模态语音大型语言模型

ultravox-v0_4_1-llama-3_1-8b — 多模态语音大型语言模型

TableGPT2 — 大型多模态模型，集成表格数据

Hermes 3 - Llama-3.1 70B — Hermes系列的最新版大型语言模型

Nous Chat — Nous Research推出的首款无限制AI聊天机器人

Agora — 跨平台通信协议，使不同的大型语言模型（LLMs）能够高效沟通。

PPLLaVA — 视频序列理解的GPU实现模型

5ire — 简单易用，释放AI的强大力量

O1-Journey — O1复制之旅：战略进展报告第一部分

Ferret-UI-Llama8b — 基于Llama-3-8B的多模态大型语言模型，专注于UI任务。

URL Parser Online — 在线URL解析器，将URL转换为适合大型语言模型的输入格式。

SELA — SELA通过结合蒙特卡洛树搜索和基于LLM的代理来增强自动化机器学习。

LongVU — 长视频语言理解的时空自适应压缩模型

BitNet — 1位大型语言模型推理框架

Llama-3.1-Nemotron-70B-Instruct — 由NVIDIA定制的大型语言模型，提升查询回答的帮助性。

ComfyGen — 文本到图像生成的自适应工作流

Ministral-8B-Instruct-2410 — 高效能的语言模型，支持本地智能和设备端计算。

MM1.5 — 多模态大型语言模型的优化与分析

AutoDAN-Turbo — 突破大型语言模型限制的自动化框架

AutoArena — 自动化的生成式AI评估平台