Flood Sung, chercheur chez Lune Obscure, a récemment publié un long article de plusieurs milliers de mots, dévoilant pour la première fois en détail les idées de développement du modèle k1.5, et effectuant une profonde réflexion sur les enseignements techniques apportés par le modèle o1 d'OpenAI.
Selon Flood Sung, l'importance de Long-CoT (Longue Chaîne de Pensée) a été prouvée il y a plus d'un an par Tim Zhouxin Yu, co-fondateur de Lune Obscure. En utilisant un petit modèle pour entraîner des calculs à plusieurs chiffres, et en transformant le processus de calcul granulaire en données de Longue Chaîne de Pensée pour un ajustement fin supervisé (SFT), des résultats significatifs peuvent être obtenus.
Cependant, en raison de contraintes de coût, Lune Obscure s'est concentrée jusqu'à présent sur l'optimisation de Long Context (entrée de texte long). Flood Sung explique que Long Context traite principalement l'entrée, et grâce aux techniques de pré-remplissage (Prefill) et Mooncake, il est possible de contrôler assez bien les coûts et la vitesse. En comparaison, Long-CoT se concentre sur la sortie, nécessitant des coûts plus élevés et des temps de traitement plus longs.
Mais le lancement d'OpenAI o1 a poussé l'équipe à reconsidérer les priorités en matière de direction technique. "Les performances sont primordiales", déclare Flood Sung, "les coûts et la vitesse s'amélioreront avec les progrès technologiques, l'essentiel est d'abord de réaliser une percée en termes de performances." Fort de cette conviction, Lune Obscure a commencé à promouvoir pleinement la recherche sur Long-CoT, afin de permettre au modèle d'atteindre une capacité de pensée libre plus proche de celle de l'homme.
La publication de cet article technique décryptant le modèle marque le début d'une démarche systématique de Lune Obscure pour se comparer au modèle o1 et mener des recherches concrètes dans ce domaine.
Article de plusieurs milliers de mots décryptant le processus de décryptage de o1 :https://mp.weixin.qq.com/s/sJmT-tM3A-mglZ1d4OI80A