El equipo de investigación NovaSky del Laboratorio de Computación en la Nube de la Universidad de California, Berkeley, lanzó el viernes el modelo de inferencia Sky-T1-32B-Preview, que ha demostrado un rendimiento excepcional en varias pruebas de referencia clave. Su rendimiento es comparable al de las versiones iniciales de o1 de OpenAI, y lo que es aún más notable, su costo de entrenamiento es extremadamente bajo.
Sky-T1-32B-Preview es el primer modelo de inferencia de código abierto verdaderamente real. El equipo de NovaSky no solo publicó el modelo, sino que también hizo públicos el conjunto de datos utilizado para su entrenamiento y el código de entrenamiento necesario. Esto significa que el modelo se puede replicar desde cero. Según la publicación del equipo en su blog, "el costo de entrenamiento de Sky-T1-32B-Preview fue inferior a 450 dólares, lo que demuestra que es posible replicar capacidades de inferencia avanzadas de manera rentable". Recientemente, entrenar modelos con un rendimiento similar solía costar millones de dólares. Esta drástica reducción de costos se debe principalmente al uso de datos de entrenamiento sintéticos o generados por otros modelos. Por ejemplo, la empresa de inteligencia artificial Writer recientemente lanzó el modelo Palmyra X004, entrenado casi en su totalidad con datos sintéticos, con un costo de desarrollo de solo 700.000 dólares.
Nota de la imagen: La imagen fue generada por IA, y los derechos de la imagen pertenecen a Midjourney.
Los modelos de inferencia difieren de los modelos de inteligencia artificial comunes, ya que pueden realizar una verificación de hechos eficaz, evitando así algunas trampas comunes. Sin embargo, los modelos de inferencia suelen tardar más en obtener soluciones, desde unos segundos hasta varios minutos. Pero su mayor fiabilidad en campos como la física, la ciencia y las matemáticas es una ventaja significativa.
El equipo de NovaSky reveló que utilizaron el modelo de inferencia QwQ-32B-Preview de Alibaba para generar los datos de entrenamiento iniciales de Sky-T1. Posteriormente, "ordenaron" los datos y utilizaron GPT-4o-mini de OpenAI para reconstruirlos en un formato más fácil de usar. El entrenamiento de Sky-T1, con 32 mil millones de parámetros, utilizando 8 bastidores de GPU Nvidia H100, tomó aproximadamente 19 horas. La cantidad de parámetros corresponde aproximadamente a la capacidad del modelo para resolver problemas.
En las pruebas de rendimiento, Sky-T1 superó a la versión preliminar de o1 en MATH500 (un conjunto de desafíos matemáticos de "nivel competitivo") y también superó a la versión preliminar de o1 en un conjunto de problemas de LiveCodeBench (una evaluación de codificación). Sin embargo, Sky-T1 no superó a la versión preliminar de o1 en GPQA-Diamond, que incluye problemas de física, biología y química que un estudiante de doctorado debería dominar. Además, la versión o1GA de OpenAI es más potente que la versión preliminar, y OpenAI espera lanzar en las próximas semanas el modelo de inferencia o3, con un rendimiento aún mejor.
A pesar de esto, el equipo de NovaSky afirma que Sky-T1 es solo el comienzo de su desarrollo de modelos de código abierto con capacidades de inferencia avanzadas. "En el futuro, nos centraremos en el desarrollo de modelos más eficientes, manteniendo un sólido rendimiento de inferencia, y exploraremos tecnologías avanzadas para mejorar aún más la eficiencia y precisión del modelo en las pruebas", escribió el equipo en su publicación. "Sigan atentos a nuestros avances en estos emocionantes proyectos". La aparición de este modelo de inferencia de código abierto sin duda presenta nuevas oportunidades y desafíos en el campo de la inteligencia artificial, y su desarrollo futuro merece una atención continua.
