lmms-finetune

Repositório de código unificado para o ajuste fino de grandes modelos multimodais

Produto ComumProgramaçãoAjuste FinoMultimodal

O lmms-finetune é um repositório de código unificado que visa simplificar o processo de ajuste fino de grandes modelos multimodais (LMMs). Ele fornece uma estrutura organizada que permite aos usuários integrar facilmente os mais recentes LMMs e realizar o ajuste fino, suportando estratégias como ajuste fino completo e LoRA. O repositório de código é projetado para ser simples, leve, fácil de entender e modificar, suportando diversos modelos, incluindo LLaVA-1.5, Phi-3-Vision, Qwen-VL-Chat, LLaVA-NeXT-Interleave e LLaVA-NeXT-Video.

Fornecer uma estrutura unificada para o ajuste fino
simplificando o processo de integração e ajuste fino
Suportar diversas estratégias de ajuste fino
como ajuste fino completo
LoRA e Q-LoRA
Manter a simplicidade do repositório de código para facilitar a compreensão e a modificação
Suportar diversos tipos de LMMs
incluindo modelos de imagem única
modelos de múltiplas imagens/imagens intercaladas e modelos de vídeo
Fornecer documentação e exemplos detalhados para ajudar os usuários a começar rapidamente

O público-alvo são pesquisadores e desenvolvedores
especialmente aqueles que precisam ajustar modelos de linguagem grande multimodais para tarefas ou conjuntos de dados específicos. O lmms-finetune fornece uma plataforma simples
flexível e de fácil expansão
permitindo que os usuários se concentrem no ajuste fino do modelo e nos experimentos
sem se preocupar muito com os detalhes da implementação.

Pesquisadores usaram o lmms-finetune para ajustar finamente o LLaVA-1.5
melhorando o desempenho em tarefas específicas de análise de conteúdo de vídeo.
Desenvolvedores utilizaram o repositório para ajustar finamente o modelo Phi-3-Vision para novas tarefas de reconhecimento de imagem.
Instituições de ensino utilizaram o lmms-finetune em atividades pedagógicas
ajudando os alunos a entender o processo e as aplicações do ajuste fino de grandes modelos multimodais.

Clone o repositório para o ambiente local: `git clone https://github.com/zjysteven/lmms-finetune.git`
Configure e ative o ambiente conda: `conda create -n lmms-finetune python=3.10 -y` seguido de `conda activate lmms-finetune`
Instale as dependências: `python -m pip install -r requirements.txt`
Instale bibliotecas adicionais conforme necessário
como flash attention: `python -m pip install --no-cache-dir --no-build-isolation flash-attn`

Abrir Site

lmms-finetune Situação do Tráfego Mais Recente

Total de Visitas Mensais

474564576

Taxa de Rejeição

36.20%

Média de Páginas por Visita

6.1

Duração Média da Visita

00:06:34

lmms-finetune Tendência de Visitas

lmms-finetune Distribuição Geográfica das Visitas

lmms-finetune Fontes de Tráfego

lmms-finetune Alternativas

Doubao-1.5-pro — Doubao-1.5-pro é um modelo de linguagem grande (LLM) esparso MoE de alto desempenho, focado no equilíbrio extremo entre desempenho de inferência e capacidade do modelo.

Seleção Nacional

•Modelo de Linguagem Grande•Multimodal

Best AI Websites & Tools

lmms-finetune

lmms-finetune Situação do Tráfego Mais Recente

lmms-finetune Tendência de Visitas

lmms-finetune Distribuição Geográfica das Visitas

lmms-finetune Fontes de Tráfego

lmms-finetune Alternativas

Doubao-1.5-pro — Doubao-1.5-pro é um modelo de linguagem grande (LLM) esparso MoE de alto desempenho, focado no equilíbrio extremo entre desempenho de inferência e capacidade do modelo.

InternVL2_5-78B-MPO — Esta é uma série de modelos de linguagem grandes multimodais avançados, apresentando desempenho geral excepcional.

MinMo — MinMo é um modelo de linguagem grande multimodário para interação de voz perfeita.

InternVL2_5-38B-MPO — Modelo da série InternVL2.5-MPO, baseado no InternVL2.5 e otimização de preferência mista, apresentando desempenho excepcional.

InternVL2_5-26B-MPO-AWQ — Modelo de linguagem grande multimodais avançado, com capacidade excepcional de raciocínio multimodais.

InternVL2_5-26B-MPO — Modelo de linguagem grande multimodal que aprimora a interação entre visão e linguagem.

InternVL2_5-8B-MPO — Modelo de linguagem grande multimodais, demonstrando desempenho geral excepcional.

InternVL2_5-4B-MPO-AWQ — Modelo de linguagem grande multimodal, otimizado para interação imagem-texto.

InternVL2_5-4B-MPO — Modelo de linguagem grande multi-modal, demonstrando desempenho geral excelente.

Valley 2.0 — Modelo de linguagem grande multi-modal, aprimora a capacidade de processamento de dados de texto, imagem e vídeo.

InternVL2_5-2B-MPO — Modelo de linguagem grande multimodal avançado

InternVL2_5-1B-MPO — Modelo de linguagem grande multimodal que aprimora a compreensão integrada de visão e linguagem.

InternVL2-8B-MPO — Modelo de linguagem grande multimodal, aprimorando a capacidade de raciocínio multimodal.

InternVL 2.5 — Série de modelos de linguagem grandes multimodais de código aberto

InternVL2_5-4B — Modelo de linguagem grande multimodal, que integra compreensão visual e linguística.

InternVL2_5-2B — Modelo de linguagem grande multimodal, que suporta interação profunda entre imagens e texto.

MAmmoTH-VL — Plataforma de raciocínio multimodais em larga escala e ajuste fino por instruções

InternVL2_5-26B — Modelo de linguagem grande multimodal, integrando compreensão visual e linguística.

InternVL2_5-38B — Série de modelos de linguagem grandes multimodais avançados

InternVL2_5-78B — Série de modelos de linguagem grandes multimodais avançados

Llama-3.3-70B-Instruct — Modelo de linguagem grande multilíngue com 70 bilhões de parâmetros

ultravox-v0_4_1-llama-3_1-70b — Modelo de linguagem grande multimodal de voz

Ferret-UI-Llama8b — Modelo de linguagem grande multimodais baseado em Llama-3-8B, focado em tarefas de interface de usuário.

MM1.5 — Otimização e Análise de Modelos de Linguagem Grandes Multimodais

NVLM-D-72B — Modelo de linguagem grande multimodais de ponta

Llama-3.2-11B-Vision — Modelo de linguagem grande multimodal, suporta processamento de imagem e texto.

mPLUG-Owl3 — Modelo de linguagem grande multimodal que compreende sequências longas de imagens.

Llama-3-70B-Tool-Use — Modelo de linguagem grande de 70B de parâmetros, otimizado para uso de ferramentas

AMchat — Assistente inteligente para resolução de problemas de matemática avançada

EmoLLM — Modelo de linguagem grande para saúde mental, oferecendo suporte à cadeia de aconselhamento em saúde mental.