DCLM-7B

Modelo de linguagem com 700 milhões de parâmetros, demonstrando a eficácia das técnicas de organização de dados.

Novo Produto PremiumProgramaçãoModelo de LinguagemTransformer
DCLM-Baseline-7B é um modelo de linguagem com 700 milhões de parâmetros, desenvolvido pela equipe DataComp for Language Models (DCLM), principalmente para inglês. O modelo visa melhorar o desempenho de modelos de linguagem por meio de técnicas sistemáticas de organização de dados. O treinamento do modelo utilizou PyTorch e o framework OpenLM, com otimizador AdamW, taxa de aprendizado de 2e-3, decaimento de peso de 0,05, tamanho de lote de 2048 sequências, comprimento de sequência de 2048 tokens e um total de 2,5 trilhões de tokens de treinamento. O treinamento foi realizado em GPUs H100.
Abrir Site

DCLM-7B Situação do Tráfego Mais Recente

Total de Visitas Mensais

29742941

Taxa de Rejeição

44.20%

Média de Páginas por Visita

5.9

Duração Média da Visita

00:04:44

DCLM-7B Tendência de Visitas

DCLM-7B Distribuição Geográfica das Visitas

DCLM-7B Fontes de Tráfego

DCLM-7B Alternativas