Flood Sung, investigador de la cara oculta de la luna, publicó recientemente un extenso artículo de 10.000 palabras donde revela por primera vez en detalle el proceso de desarrollo del modelo k1.5, y realiza una profunda reflexión sobre las implicaciones tecnológicas del modelo o1 de OpenAI.
Según Flood Sung, la importancia de Long-CoT (pensamiento de cadena larga) ya fue verificada hace más de un año por Tim Zhouxin Yu, cofundador de la cara oculta de la luna. Al entrenar un modelo pequeño para realizar cálculos de varios dígitos, y convertir el proceso de cálculo de grano fino en datos de pensamiento de cadena larga para SFT (ajuste fino supervisado), se pueden obtener resultados significativos.
Sin embargo, debido a consideraciones de costo, la cara oculta de la luna se había centrado previamente en la optimización de Long Context (entrada de texto largo). Flood Sung explicó que Long Context trata principalmente la entrada, y mediante el prellenado Prefill y la tecnología Mooncake, se puede controlar mejor el costo y la velocidad. En comparación, Long-CoT se centra en la salida, requiriendo un costo mayor y un tiempo de procesamiento más largo.
Pero el lanzamiento de OpenAI o1 hizo que el equipo reconsiderara la prioridad de la dirección tecnológica. "El rendimiento es lo más importante", dijo Flood Sung, "el costo y la velocidad se optimizarán continuamente con el progreso tecnológico, la clave es lograr primero un rendimiento innovador". Basándose en esta comprensión, la cara oculta de la luna ha comenzado a promover completamente la investigación de Long-CoT, con el objetivo de permitir que el modelo logre una capacidad de pensamiento libre más cercana a la humana.
La publicación de este artículo que desvela la tecnología, marca el inicio del proceso de comparación sistemática de la cara oculta de la luna con el modelo o1, y el desarrollo de investigaciones sustanciales en campos relacionados.
Artículo de 10.000 palabras que desvela el proceso de descifrado de o1:https://mp.weixin.qq.com/s/sJmT-tM3A-mglZ1d4OI80A