lmms-finetune

Ein einheitliches Code-Repository zum Feinabstimmen großer multimodaler Modelle

Normales ProduktProgrammierungFeinabstimmungMultimodal

lmms-finetune ist ein einheitliches Code-Repository, das den Feinabstimmungsprozess großer multimodaler Modelle (LMMs) vereinfachen soll. Es bietet einen strukturierten Rahmen, der es Benutzern ermöglicht, die neuesten LMMs einfach zu integrieren und feinabzustimmen, und unterstützt Strategien wie Full Fine-tuning und LoRA. Der Code ist einfach, leichtgewichtig, verständlich und leicht modifizierbar und unterstützt verschiedene Modelle, darunter LLaVA-1.5, Phi-3-Vision, Qwen-VL-Chat, LLaVA-NeXT-Interleave und LLaVA-NeXT-Video.

Best AI Websites & Tools

lmms-finetune

lmms-finetune Neueste Verkehrssituation

lmms-finetune Besuchstrend

lmms-finetune Geografische Verteilung der Besuche

lmms-finetune Traffic-Quellen

lmms-finetune Alternativen

lmms-finetune — Ein einheitliches Code-Repository zum Feinabstimmen großer multimodaler Modelle

Data-Juicer — Ein ganzheitliches Datenverarbeitungssystem zur Bereitstellung hochwertiger Daten für große Sprachmodelle.

语析Yuxi-Know — Ein auf Large Language Models basierendes RAG-Wissensdatenbank-System für Fragen und Antworten mit Knowledge Graph, das verschiedene Large Language Models unterstützt und lokal bereitgestellt werden kann.

Aya Vision — Aya Vision ist ein mehrsprachiges, multimodales visuelles Modell von Cohere, das darauf abzielt, das Verständnis von visuellem und Textmaterial in mehrsprachigen Szenarien zu verbessern.

EgoLife — EgoLife ist ein langfristiges, multimodales und mehrperspektivisches Projekt für einen KI-Assistenten im Alltag, das darauf abzielt, die Forschung zum Verständnis von Langzeitkontexten voranzutreiben.

UniTok — UniTok ist ein einheitlicher visueller Tokenizer für die visuelle Generierung und das visuelle Verständnis.

ViDoRAG — ViDoRAG ist ein dynamisches iteratives Inferenz-Agenten-Framework, das die visuelle Dokumentensuche mit der Generierung kombiniert.

Mochii AI — Mochii AI ist ein personalisiertes KI-Ökosystem, das von hochmodernen Modellen unterstützt wird und die Zukunft der Zusammenarbeit zwischen Mensch und KI vorantreibt.

M2RAG — Code-Repository für Benchmark-Tests zur retrieval-augmented generation in multimodalen Kontexten.

TheoremExplainAgent — TheoremExplainAgent ist ein intelligentes System zur Generierung multimodaler Erklärvideos für Theoreme.

Phi-4-multimodal-instruct — Phi-4-multimodal-instruct ist ein leichtgewichtiges, multimodales Basismodell von Microsoft, das Text-, Bild- und Audioeingaben unterstützt.

Magma-8B — Magma-8B ist ein von Microsoft entwickeltes multimodales KI-Modell, das Bild- und Texteingaben verarbeiten und Textausgaben generieren kann.

DeepSeek Japanisch — DeepSeek ist ein fortschrittliches KI-Sprachmodell, das sich auf logisches Denken, Mathematik und Programmieraufgaben spezialisiert hat und kostenlos nutzbar ist.

ZeroBench — ZeroBench ist ein hoch anspruchsvoller visueller Benchmark für moderne, große multimodale Modelle.

Magma — Magma ist ein grundlegendes, multimodal einsetzbares Modell, das multimodale Eingaben versteht und verarbeitet und für komplexe Aufgaben und Umgebungen verwendet werden kann.

Grok 3 — Das neueste Flaggschiff-AI-Modell Grok 3 von xAI, mit leistungsstarker Inferenz und multimodaler Verarbeitungsfähigkeit.

CLaMP 3 — CLaMP 3 ist ein einheitlicher Rahmen für die musikbezogene Informationsrecherche über verschiedene Modalitäten und Sprachen hinweg.

VideoRAG — VideoRAG ist ein retrieval-augmented generation framework (RAG) zur Verarbeitung von Videos mit extrem langen Kontexten.

MedRAX — MedRAX ist ein medizinischer KI-Agent zur Interpretation von Röntgenaufnahmen des Brustkorbs. Er integriert verschiedene Analysewerkzeuge und kann komplexe medizinische Anfragen ohne zusätzliches Training verarbeiten.

Qwen2.5-VL — Qwen2.5-VL ist ein leistungsstarkes visuell-linguistisches Modell, das Bild- und Videoinhalte versteht und entsprechenden Text generiert.

Gemini 2.0 Familie — Gemini 2.0 ist Googles neueste Generation von generativen KI-Modellen und umfasst die Versionen Flash, Flash-Lite und Pro.

Gemini 2.0 Pro — Gemini Pro ist ein von Google DeepMind entwickeltes, leistungsstarkes KI-Modell, das sich auf die Bearbeitung komplexer Aufgaben und Programmierleistung konzentriert.

OmniHuman-1 — OmniHuman-1 ist ein multimodaler Rahmen, der aus einem einzelnen Porträtbild und Bewegungssignalen menschenähnliche Videos generiert.

MILS — LLMs können sehen und hören, ohne dafür trainiert zu werden.

MNN Großmodell Android App — Eine voll funktionsfähige Android-Anwendung für ein großes Sprachmodell mit Multimodalitätsunterstützung.

Janus-Pro-7B — Janus-Pro-7B ist ein neuartiges autoregressives Framework, das multimodalen Verständnis und Generierung vereint.

Janus-Pro-1B — Janus-Pro-1B ist ein einheitliches, multimodales, autoregressives Framework für Verständnis und Generierung.

Die letzte Prüfung der Menschheit — Die letzte Prüfung der Menschheit ist ein multimodaler Benchmark zur Bewertung der Fähigkeiten großer Sprachmodelle.

CUA — CUA ist eine universelle Schnittstelle, die eine interaktive grafische Benutzeroberfläche für die digitale Welt bietet.

SmolVLM-256M-Instruct — SmolVLM-256M ist das weltweit kleinste multimodale Modell und verarbeitet effizient Bild- und Texteingaben zur Erzeugung von Textausgaben.