llama3-from-scratch

Implémentation du modèle Llama3 à partir de zéro

Produit OrdinaireProgrammationApprentissage profondTraitement du langage naturel

Il s'agit d'un projet open source où l'auteur, naklecha, a implémenté le modèle Llama3, un grand modèle linguistique, à partir de zéro. Le projet fournit le code source détaillé, incluant tous les composants du modèle, tels que le mécanisme d'attention et le réseau feed-forward. Ce projet permet aux développeurs de comprendre en profondeur le fonctionnement des grands modèles linguistiques et de mener leurs propres expérimentations et améliorations.

Best AI Websites & Tools

llama3-from-scratch

llama3-from-scratch Dernière situation du trafic

llama3-from-scratch Tendance des visites

llama3-from-scratch Distribution géographique des visites

llama3-from-scratch Sources de trafic

llama3-from-scratch Alternatives

llama3-from-scratch — Implémentation du modèle Llama3 à partir de zéro

FlexHeadFA — Mécanisme d'attention précis, rapide et économe en mémoire

FlashMLA — FlashMLA est un noyau de décodage MLA hautement efficace optimisé pour les GPU Hopper, adapté aux services de séquences de longueur variable.

VLM-R1 — VLM-R1 est un modèle linguistique visuel renforcé stable et polyvalent, axé sur les tâches de compréhension visuelle.

Détection de compatibilité des modèles DeepSeek — Détermine si un appareil peut exécuter des modèles DeepSeek de différentes tailles et fournit une prédiction de compatibilité.

pré-entraînement de modèles linguistiques récurrents — Code de pré-entraînement pour des modèles linguistiques récurrents profonds à grande échelle, capable de fonctionner sur 4096 GPU AMD.

node-DeepResearch — Recherche et lecture continues de pages web jusqu'à ce que la réponse soit trouvée (ou jusqu'à épuisement du budget de jetons).

Open R1 — Il s'agit d'un projet de reproduction d'un modèle DeepSeek-R1 entièrement open source, visant à aider les développeurs à reproduire et à construire des modèles basés sur R1.

Janus-Pro-1B — Janus-Pro-1B est un framework autorégressif unifié de compréhension et de génération multimodale.

Tarsier — Tarsier est un grand modèle linguistique vidéo développé par ByteDance pour générer des descriptions vidéo de haute qualité.

VideoLLaMA3 — VideoLLaMA3 est un modèle de base multimodal de pointe, spécialisé dans la compréhension des images et des vidéos.

MiniMax-01 — Modèle linguistique puissant disposant de 456 milliards de paramètres au total, capable de traiter un contexte jusqu'à 4 millions de jetons.

DeepSeek-V3 — Modèle linguistique Mixture-of-Experts (MoE) de 671 milliards de paramètres.

DRT-o1 — Modèle de traduction automatique par inférence profonde, optimisé par une longue chaîne de réflexion.

mwp_ReFT — Framework d'ajustement fin des modèles basé sur l'apprentissage par renforcement profond

Florence-VL — Outil d'amélioration des modèles de langage visuel, combinant un encodeur visuel génératif et une technique de fusion profonde et large.

LLaMA-Mesh — Unification d'un modèle linguistique et de la génération de maillages 3D

Démo TTS MaskGCT — Démonstration de texte à parole (TTS) basée sur le modèle MaskGCT

mPLUG-DocOwl 1.5 — Modèle d'apprentissage de structure unifié pour la compréhension de documents sans OCR

F5-TTS — Modèle de synthèse vocale (TTS) de haute qualité basé sur l'apprentissage profond

Llama 3.2 3b Voice — Outil de synthèse vocale utilisant le modèle Llama.

RWKV — Une architecture de modèle de langage de nouvelle génération, surpassant les Transformer.

llava-llama-3-8b-v1_1 — Modèle LLaVA optimisé par XTuner, combinant traitement d'images et de texte.

nasa-smd-ibm-st — Amélioration des techniques de traitement du langage naturel pour la recherche d'informations et la recherche intelligente orientées vers les missions scientifiques de la NASA

MovieLLM — MovieLLM est un cadre de création de films IA conçu pour améliorer la compréhension des longues vidéos.

LLMs-from-scratch — Comprendre en profondeur le fonctionnement interne des grands modèles de langage

DenserBot — Transformer les données en connaissances

newsanalyst — Analyste de nouvelles par intelligence artificielle actualisant toutes les heures les dernières informations sur la politique mondiale, la technologie et le commerce.

Anthropic — Construire l'avenir de l'intelligence artificielle