minbpe

Projet de code concis pour l'algorithme BPE, développé par Karpathy.

Produit OrdinaireProgrammationTransformerNLP

Le projet minbpe vise à créer une implémentation de code propre et pédagogique de l'algorithme BPE, couramment utilisé dans les LLM. Ce projet fournit deux tokeniseurs et implémente les principales fonctionnalités de l'algorithme BPE, telles que l'entraînement, l'encodage et le décodage. Le code est concis et facile à lire, offrant aux utilisateurs une expérience pratique et efficace. Ce projet suscite un vif intérêt et devrait jouer un rôle important dans le développement des LLM et des techniques de traitement du langage naturel.

Implémentation de l'entraînement de l'algorithme BPE
Implémentation de l'encodage BPE de texte
Implémentation du décodage de texte BPE
Fonctionnalités de sauvegarde et de chargement

Application aux modèles linguistiques basés sur Transformer
Utilisation comme tokeniseur pour des modèles tels que BERT

Encodage BPE d'un texte avec minbpe
Création d'un tokeniseur BPE personnalisé avec minbpe
Utilisation de minbpe pour entraîner son propre modèle linguistique

Ouvrir le site Web

minbpe Dernière situation du trafic

Nombre total de visites mensuelles

474564576

Taux de rebond

36.20%

Nombre moyen de pages par visite

6.1

Durée moyenne de la visite

00:06:34

minbpe Tendance des visites

minbpe Distribution géographique des visites

Best AI Websites & Tools

minbpe

minbpe Dernière situation du trafic

minbpe Tendance des visites

minbpe Distribution géographique des visites

minbpe Sources de trafic

minbpe Alternatives

minbpe — Projet de code concis pour l'algorithme BPE, développé par Karpathy.

QwQ-32B — QwQ-32B est un puissant modèle d'inférence, conçu pour la résolution de problèmes complexes et la génération de texte, avec des performances exceptionnelles.

ART — Une technique de transformateur de zone anonyme pour la génération d'images transparentes multicouches variables.

MoBA — MoBA est un mécanisme d'attention par blocs mixtes pour les contextes de longs textes, visant à améliorer l'efficacité des grands modèles de langage.

Janus-Pro-1B — Janus-Pro-1B est un framework autorégressif unifié de compréhension et de génération multimodale.

ViTPose — Ensemble de modèles ViTPose basés sur l'architecture Transformer

ModernBERT-large — Modèle Transformer d'encodage bidirectionnel haute performance

ModernBERT — ModernBERT est un modèle d'encodeur nouvelle génération aux performances exceptionnelles.

OLMo 2 13B — Modèle linguistique performant spécialisé dans les benchmarks académiques anglais

Star-Attention — Technique d'inférence efficace pour les grands modèles de langage sur des séquences longues

Extractous — Outil d'extraction de données non structurées rapide et efficace

MobileLLM-600M — Modèle linguistique de 600M de paramètres, hautement optimisé et conçu pour les applications embarquées.

MobileLLM-350M — Modèle linguistique optimisé de moins d'un milliard de paramètres, conçu pour les applications embarquées.

Oasis — Modèle IA d'open world en temps réel basé sur Transformer

Ingénierie des Prompts — Un référentiel complet de ressources techniques sur l'ingénierie des prompts

Llama-3.2-1B — Modèle linguistique de grande taille multilingue

OpenCity — Modèle spatio-temporel de base open source pour la prédiction du trafic

Techniques RAG — Ensemble révolutionnaire de techniques pour les systèmes de génération augmentée par la recherche.

Bailing-TTS — Modèle de texte à parole (TTS) à grande échelle générant des voix dialectales chinoises de haute qualité.

Tele-FLM-1T — Modèle linguistique large multilingue open-source de 1T

DCLM-7B — Modèle linguistique de 700 millions de paramètres, démontrant l'efficacité des techniques d'organisation des données.

Mamba-Codestral-7B-v0.1 — Modèle de code open source haute performance

FlashAttention — Mécanisme d'attention précis, rapide et économe en mémoire

VideoLLaMA2-7B-16F-Base — Grand modèle linguistique vidéo, utilisé pour la question-réponse visuelle et la génération de sous-titres vidéo.

EasyAnimate — Solution de bout en bout pour la génération de vidéos longues et haute résolution.

Create-tsi — Boîte à outils d'IA générative RAG pour la génération d'applications IA low-code.

ChatRTX — Construisez des modèles linguistiques de grande taille (LLM) personnalisés pour améliorer les capacités de vos chatbots.

Llama-Chinois — Construction du meilleur grand modèle linguistique Llama pour le chinois, entièrement open source et utilisable commercialement.

Outil de Transparence des LLM — Analyse du fonctionnement interne des modèles linguistiques Transformer

Pile-T5 — Modèle T5 entraîné sur le jeu de données Pile