Flood Sung, pesquisador da Lua Escura, publicou recentemente um artigo extenso, revelando pela primeira vez os detalhes do desenvolvimento do modelo k1.5 e refletindo profundamente sobre as implicações tecnológicas do modelo o1 da OpenAI.
Segundo Flood Sung, a importância do Long-CoT (pensamento em cadeia longa) foi comprovada há mais de um ano pelo cofundador da Lua Escura, Tim Zhou Xinyu. Treinando modelos menores para cálculos de vários dígitos e convertendo o processo de cálculo de grão fino em dados de pensamento em cadeia longa para SFT (ajuste fino supervisionado), resultados significativos podem ser obtidos.
No entanto, devido a considerações de custo, a Lua Escura anteriormente priorizou a otimização do Long Context (entrada de texto longo). Flood Sung explicou que o Long Context trata principalmente da entrada, e com o preenchimento antecipado (Prefill) e a tecnologia Mooncake, o custo e a velocidade podem ser bem controlados. Em comparação, o Long-CoT concentra-se na saída, exigindo maior custo e tempo de processamento.
Mas o lançamento do OpenAI o1 fez a equipe repensar a prioridade da direção tecnológica. "O desempenho é o mais importante", disse Flood Sung, "o custo e a velocidade serão otimizados com o progresso tecnológico, a chave é alcançar primeiro o desempenho inovador". Com base nessa compreensão, a Lua Escura começou a promover ativamente a pesquisa Long-CoT, buscando permitir que o modelo alcance uma capacidade de pensamento livre mais próxima da humana.
A publicação deste artigo que decifra a tecnologia marca o início da comparação sistemática do modelo o1 pela Lua Escura e o início de pesquisas substanciais em áreas relevantes.
Artigo extenso decifrando o processo de quebra do o1:https://mp.weixin.qq.com/s/sJmT-tM3A-mglZ1d4OI80A