DCLM-7B
Modelo de linguagem com 700 milhões de parâmetros, demonstrando a eficácia das técnicas de organização de dados.
Novo Produto PremiumProgramaçãoModelo de LinguagemTransformer
DCLM-Baseline-7B é um modelo de linguagem com 700 milhões de parâmetros, desenvolvido pela equipe DataComp for Language Models (DCLM), principalmente para inglês. O modelo visa melhorar o desempenho de modelos de linguagem por meio de técnicas sistemáticas de organização de dados. O treinamento do modelo utilizou PyTorch e o framework OpenLM, com otimizador AdamW, taxa de aprendizado de 2e-3, decaimento de peso de 0,05, tamanho de lote de 2048 sequências, comprimento de sequência de 2048 tokens e um total de 2,5 trilhões de tokens de treinamento. O treinamento foi realizado em GPUs H100.
DCLM-7B Situação do Tráfego Mais Recente
Total de Visitas Mensais
29742941
Taxa de Rejeição
44.20%
Média de Páginas por Visita
5.9
Duração Média da Visita
00:04:44