FineWeb

Ensemble de données web anglais de haute qualité

Produit OrdinaireProgrammationTraitement du langage naturelEnsemble de données

FineWeb est un ensemble de données contenant plus de 15 000 milliards de pages web anglaises nettoyées et dédoublonnées, provenant de CommonCrawl. Ce jeu de données est spécialement conçu pour le pré-entraînement de grands modèles linguistiques, dans le but de promouvoir le développement de modèles open source. Il a été soigneusement traité et filtré pour garantir une haute qualité et convient à diverses tâches de traitement du langage naturel.

Génération de texte
Compréhension du langage
Entraînement de modèles d'apprentissage automatique

Convient aux scénarios nécessitant un grand volume de données anglaises pour l'entraînement et l'optimisation de modèles d'apprentissage automatique
notamment dans le domaine du traitement du langage naturel.

Utilisé pour entraîner des chatbots afin d'améliorer leur compréhension du contexte anglais.
Utilisé comme source de données pour le pré-entraînement de modèles linguistiques
améliorant ainsi les performances du modèle sur les tâches de génération de texte.
Utilisé dans la recherche en analyse des sentiments
aidant les modèles à mieux identifier et traiter les expressions sentimentales en anglais.

Ouvrir le site Web

FineWeb Dernière situation du trafic

Nombre total de visites mensuelles

29742941

Taux de rebond

44.20%

Nombre moyen de pages par visite

5.9

Durée moyenne de la visite

00:04:44

FineWeb Tendance des visites

FineWeb Distribution géographique des visites

Best AI Websites & Tools

FineWeb

FineWeb Dernière situation du trafic

FineWeb Tendance des visites

FineWeb Distribution géographique des visites

FineWeb Sources de trafic

FineWeb Alternatives

FineWeb — Ensemble de données web anglais de haute qualité

YuLan-Mini — Un modèle linguistique léger et performant de 240 millions de paramètres

NeoBase — NeoBase est un assistant de base de données IA open source qui vous permet d'interagir avec votre base de données en langage naturel.

Instella — Instella est un modèle linguistique open source haute performance développé par AMD, conçu pour accélérer le développement des modèles linguistiques open source.

Migician — Migician est un grand modèle linguistique multimodale axé sur la localisation multi-images, capable de réaliser une localisation précise multi-images de forme libre.

IndexTTS — Système texte-parole zéro-shot industriel, contrôlable et efficace

bRAG-langchain — Un projet open source pour la construction d'applications de génération augmentée par la recherche (RAG).

Moonlight — Moonlight est un modèle d'expert mixte de 16 milliards de paramètres, entraîné avec l'optimiseur Muon, et offrant des performances exceptionnelles.

Crawl4LLM — Outil de crawling Web performant pour le pré-entraînement des LLM, axé sur l'extraction efficace de données Web de haute qualité.

RAG-FiT — RAG-FiT est une bibliothèque conçue pour améliorer la capacité des grands modèles de langage (LLM) à exploiter des informations externes, en affinant les modèles sur un ensemble de données spécialement créé pour l'augmentation RAG.

s1-32B — s1 est un modèle d'inférence basé sur Qwen2.5-32B-Instruct, entraîné avec seulement 1000 exemples.

node-DeepResearch — Recherche et lecture continues de pages web jusqu'à ce que la réponse soit trouvée (ou jusqu'à épuisement du budget de jetons).

Dolphin R1 — Dolphin R1 est un ensemble de données utilisé pour entraîner des modèles d'inférence, contenant 800 000 exemples.

Tülu 3 405B — Tülu 3 405B est un modèle linguistique de grande envergure, open source, dont les performances ont été améliorées par apprentissage par renforcement.

Open R1 — Il s'agit d'un projet de reproduction d'un modèle DeepSeek-R1 entièrement open source, visant à aider les développeurs à reproduire et à construire des modèles basés sur R1.

Janus-Pro-1B — Janus-Pro-1B est un framework autorégressif unifié de compréhension et de génération multimodale.

SpeechGPT 2.0 - version préliminaire — Premier système d'interaction en temps réel de niveau humain axé sur l'intelligence contextuelle, prenant en charge l'interaction vocale multi-émotionnelle et multi-stylistique.

Baichuan-M1-14B — Modèle linguistique large open source développé par Baichuan Intelligence, optimisé pour les scénarios médicaux, offrant des capacités générales et des performances exceptionnelles dans le domaine médical.

DeepSeek-R1-Distill-Qwen-1.5B — DeepSeek-R1-Distill-Qwen-1.5B est un modèle linguistique open source performant pour l'inférence, adapté à diverses tâches de traitement du langage naturel.

Nemotron-CC — Convertit Common Crawl en un jeu de données d'entraînement pré-entraîné à long terme et hautement raffiné.

DeepSeek-V3 — Modèle linguistique Mixture-of-Experts (MoE) de 671 milliards de paramètres.

Q-RWKV-6 32B Instruct - Aperçu — Variante de modèle RWKV la plus puissante, surpassant plusieurs benchmarks en anglais.

FineWeb2 — Ensemble de données pré-entraîné multilingue

OLMo 2 1124 13B Preference Mixture — Ensemble de données mixtes de préférence multilingue à grande échelle

OLMo-2-1124-7B-SFT — Modèle de génération de texte anglais hautes performances

dolmino-mix-1124 — Ensemble de données de haute qualité, utilisé pour la deuxième phase d'entraînement d'OLMo2.

OLMo 2 7B — Modèle linguistique de grande taille (7 milliards de paramètres) améliorant les capacités de traitement du langage naturel.

Ai2 OpenScholar — Modèle linguistique amélioré par la recherche de documents scientifiques

Llama-3.1-Tulu-3-8B-RM — Modèle de suivi d'instructions avancé, offrant un guide complet des techniques d'entraînement postérieur.

Llama-3.1-Tulu-3-70B-SFT — Modèle phare d'une famille de modèles suivant les instructions, offrant des données, du code et des guides open source.