lmms-finetune

Repositorio de código unificado para el ajuste fino de modelos multimodales grandes.

Producto ComúnProgramaciónAjuste finoMultimodal

lmms-finetune es un repositorio de código unificado diseñado para simplificar el proceso de ajuste fino de los Modelos Multimodales Grandes (LMMs). Ofrece un marco estructurado que permite a los usuarios integrar fácilmente los LMMs más recientes y realizar un ajuste fino, soportando estrategias como el ajuste fino completo y LoRA. El repositorio de código está diseñado para ser simple, ligero, fácil de entender y modificar, y admite una variedad de modelos, incluyendo LLaVA-1.5, Phi-3-Vision, Qwen-VL-Chat, LLaVA-NeXT-Interleave y LLaVA-NeXT-Video.

Proporciona un marco de ajuste fino con una estructura unificada
simplificando el proceso de integración y ajuste.
Admite múltiples estrategias de ajuste fino
incluyendo ajuste fino completo
LoRA y Q-LoRA.
Mantiene la simplicidad del repositorio de código para facilitar su comprensión y modificación.
Admite varios tipos de LMMs
incluyendo modelos de imagen única
modelos de imágenes múltiples/intercaladas y modelos de video.
Proporciona documentación y ejemplos detallados para ayudar a los usuarios a empezar rápidamente.

El público objetivo son investigadores y desarrolladores
especialmente aquellos que necesitan ajustar modelos multimodales grandes para adaptarlos a tareas o conjuntos de datos específicos. lmms-finetune proporciona una plataforma simple
flexible y fácil de ampliar que permite a los usuarios concentrarse en el ajuste fino del modelo y la experimentación sin tener que preocuparse demasiado por los detalles de la implementación subyacente.

Los investigadores utilizan lmms-finetune para ajustar finamente LLaVA-1.5 y mejorar su rendimiento en tareas específicas de análisis de contenido de video.
Los desarrolladores utilizan este repositorio de código para ajustar finamente el modelo Phi-3-Vision a nuevas tareas de reconocimiento de imágenes.
Las instituciones educativas utilizan lmms-finetune para la enseñanza
ayudando a los estudiantes a comprender el proceso y las aplicaciones del ajuste fino de los modelos multimodales grandes.

Clona el repositorio de código en tu entorno local: `git clone https://github.com/zjysteven/lmms-finetune.git`
Configura y activa el entorno conda: `conda create -n lmms-finetune python=3.10 -y` y luego `conda activate lmms-finetune`
Instala las dependencias: `python -m pip install -r requirements.txt`
Instala las bibliotecas adicionales necesarias
como flash attention: `python -m pip install --no-cache-dir --no-build-isolation flash-attn`

Abrir sitio web

lmms-finetune Situación del tráfico más reciente

Total de visitas mensuales

474564576

Tasa de rebote

36.20%

Páginas promedio por visita

6.1

Duración promedio de la visita

00:06:34

lmms-finetune Tendencia de visitas

lmms-finetune Distribución geográfica de las visitas

lmms-finetune Fuentes de tráfico

Best AI Websites & Tools

lmms-finetune

lmms-finetune Situación del tráfico más reciente

lmms-finetune Tendencia de visitas

lmms-finetune Distribución geográfica de las visitas

lmms-finetune Fuentes de tráfico

lmms-finetune Alternativas

InternVL2_5-78B-MPO — Se trata de una serie de modelos de lenguaje grandes multimodales de vanguardia que demuestra un rendimiento general excepcional.

MinMo — MinMo es un modelo de lenguaje grande multi modal diseñado para una interacción de voz fluida.

InternVL2.5-38B-MPO — Modelo de la serie InternVL2.5-MPO, basado en InternVL2.5 y optimización de preferencias mixtas, que demuestra un rendimiento excepcional.

InternVL2_5-26B-MPO-AWQ — Modelo de lenguaje grande multimodal avanzado con una capacidad de razonamiento multimodal excepcional.

VITA-1.5 — VITA-1.5: Modelo de lenguaje multimodal de gran tamaño de nivel GPT-4o con interacción visual y de voz en tiempo real

InternVL2_5-26B-MPO — Modelo de lenguaje grande multimodales que mejora la interacción entre la visión y el lenguaje.

InternVL2_5-8B-MPO-AWQ — Modelo de lenguaje grande multimodal que mejora la interacción entre la visión y el lenguaje.

InternVL2_5-4B-MPO-AWQ — Modelo de lenguaje grande multimodal, optimizado para la interacción entre imágenes y texto.

InternVL2.5-4B-MPO — Modelo de lenguaje grande multimodal que muestra un rendimiento general excelente.

Valley 2.0 — Modelo de lenguaje grande multimodal que mejora el procesamiento de datos de texto, imágenes y vídeo.

InternVL2_5-2B-MPO — Modelo de lenguaje grande multimodal avanzado

InternVL2_5-1B-MPO — Modelo de lenguaje grande multimodal que mejora la comprensión integral de la visión y el lenguaje.

InternVL2-8B-MPO — Modelo de lenguaje grande multimodal que mejora la capacidad de razonamiento multimodal.

InternVL2_5-4B — Modelo de lenguaje grande multimodal que integra la comprensión visual y lingüística.

InternVL2_5-2B — Modelo de lenguaje grande multimodal que admite una interacción profunda entre imágenes y texto.

InternVL2_5-1B — Modelo de lenguaje grande multimodal, admite la comprensión de imágenes y texto

InternVL2_5-8B — Modelo de lenguaje grande multimodal que admite la comprensión interactiva de imágenes y texto.

InternVL2_5-26B — Modelo de lenguaje grande multimodal que integra la comprensión visual y lingüística.

InternVL2_5-38B — Serie de modelos de lenguaje grandes multimodales de vanguardia

ultravox-v0_4_1-llama-3_1-70b — Modelo de lenguaje grande multimodal de voz

Ferret-UI-Llama8b — Modelo de lenguaje grande multimodales basado en Llama-3-8B, centrado en tareas de interfaz de usuario.

MM1.5 — Optimización y análisis de modelos de lenguaje grandes multimodales

NVLM 1.0 — Modelo de lenguaje grande multimodal de vanguardia

NVLM-D-72B — Modelo de lenguaje grande multimodal de vanguardia

Llama-3.2-11B-Vision — Modelo de lenguaje grande multimodal que admite el procesamiento de imágenes y texto.

mPLUG-Owl3 — Modelo de lenguaje grande multimodal que comprende secuencias largas de imágenes.

Meta-Llama-3.1-70B — Modelo de generación de texto multilingüe de 70 mil millones de parámetros

Llama-3-70B-Tool-Use — Modelo de lenguaje grande de 70B de parámetros, optimizado para el uso de herramientas

AMchat — Asistente inteligente para resolver problemas de matemáticas superiores

EmoLLM — Modelo de lenguaje grande para la salud mental, que admite una cadena de orientación en salud mental.