DCLM-7B
7亿参数的语言模型,展示数据整理技术的有效性。
优质新品编程语言模型Transformer
DCLM-Baseline-7B是一个7亿参数的语言模型,由DataComp for Language Models (DCLM)团队开发,主要使用英语。该模型旨在通过系统化的数据整理技术来提高语言模型的性能。模型训练使用了PyTorch与OpenLM框架,优化器为AdamW,学习率为2e-3,权重衰减为0.05,批次大小为2048序列,序列长度为2048个token,总训练token数达到了2.5T。模型训练硬件使用了H100 GPU。
DCLM-7B 最新流量情况
月总访问量
17788201
跳出率
44.87%
平均页面访问数
5.4
平均访问时长
00:05:32