En el rápido desarrollo de los modelos de lenguaje grandes (LLM), el costo de entrenamiento e inferencia de los modelos se está convirtiendo cada vez más en un foco de atención para la investigación y las aplicaciones. Recientemente, el equipo de Tencent HunYuan publicó una investigación importante que explora en profundidad las "Leyes de Escalado" del entrenamiento de cuantificación de punto flotante de baja precisión, es decir, las leyes de escala del entrenamiento de cuantificación de números de punto flotante. El núcleo de esta investigación radica en explorar cómo reducir significativamente los costos de computación y almacenamiento sin perder rendimiento al reducir la precisión del modelo. El equipo de investigación llevó a cabo...