DCLM-Baseline-7B es un modelo de lenguaje de 700 millones de parámetros desarrollado por el equipo de DataComp for Language Models (DCLM), principalmente para inglés. Este modelo está diseñado para mejorar el rendimiento de los modelos de lenguaje mediante técnicas sistemáticas de organización de datos. El entrenamiento del modelo se realizó utilizando PyTorch y el framework OpenLM, con el optimizador AdamW, una tasa de aprendizaje de 2e-3, una regularización de peso de 0.05, un tamaño de lote de 2048 secuencias, una longitud de secuencia de 2048 tokens y un total de 2.5T de tokens de entrenamiento. El entrenamiento se llevó a cabo en GPUs H100.