El muy esperado proyecto GPT-5 (nombre en clave Orion) lleva más de 18 meses en desarrollo, pero aún no ha visto la luz. Según un informe reciente del Wall Street Journal, fuentes internas revelan que, aunque Orion supera a los modelos actuales de OpenAI, su progreso no justifica la inversión de enormes costos. Más preocupante aún es la escasez de datos globales, que podría ser el mayor obstáculo para que GPT-5 alcance un nivel de inteligencia superior.
Se dice que GPT-5 ha pasado por al menos dos ciclos de entrenamiento, cada uno revelando nuevos problemas y sin alcanzar las expectativas de los investigadores. Cada ronda de entrenamiento duró meses y costó 500 millones de dólares solo en computación. El éxito y el momento del lanzamiento del proyecto aún son inciertos.
Un camino difícil: el cuello de botella de los datos
Desde el lanzamiento de GPT-4 en marzo de 2023, OpenAI ha estado trabajando en GPT-5. Normalmente, la capacidad de un modelo de IA aumenta con la cantidad de datos que absorbe. El proceso de entrenamiento requiere una enorme cantidad de datos, lleva meses y depende de una gran cantidad de chips de computación costosos. El CEO de OpenAI, Altman, reveló que el entrenamiento de GPT-4 costó más de 100 millones de dólares, y se estima que el costo de entrenamiento de futuros modelos de IA superará los 1000 millones de dólares.
Para reducir los riesgos, OpenAI suele realizar pruebas a pequeña escala para verificar la viabilidad del modelo. Sin embargo, el desarrollo de GPT-5 ha enfrentado desafíos desde el principio. A mediados de 2023, OpenAI inició un entrenamiento experimental llamado "Arrakis" para probar un nuevo diseño para GPT-5. Pero el progreso fue lento y costoso, y los resultados experimentales mostraron que el desarrollo de GPT-5 era más complejo y difícil de lo previsto.
Por lo tanto, el equipo de investigación de OpenAI decidió realizar una serie de ajustes técnicos a Orion y se dio cuenta de que los datos de internet públicos existentes ya no satisfacían las necesidades del modelo. Para mejorar el rendimiento de GPT-5, necesitaban urgentemente datos de mayor variedad y calidad.
“Creando datos desde cero”: enfrentando la escasez de datos
Para abordar el problema de la falta de datos, OpenAI decidió "crear datos desde cero". Contrataron a ingenieros de software y matemáticos para que escribieran nuevo código de software o resolvieran problemas matemáticos, permitiendo que Orion aprendiera de estas tareas. OpenAI también hizo que estos expertos explicaran sus procesos de trabajo, convirtiendo la inteligencia humana en conocimiento que las máquinas pueden aprender.
Muchos investigadores creen que el código, como lenguaje del software, puede ayudar a los grandes modelos a resolver problemas que nunca antes habían visto. Jonathan Siddharth, CEO de Turing, dijo: "Estamos transfiriendo la inteligencia humana del cerebro humano al cerebro de la máquina".
OpenAI incluso colaboró con expertos en campos como la física teórica, pidiéndoles que explicaran cómo resolver problemas complejos en sus respectivos campos. Sin embargo, este método de "crear datos desde cero" no es muy eficiente. Los datos de entrenamiento de GPT-4 fueron aproximadamente 13 billones de tokens, e incluso con 1000 personas escribiendo 5000 palabras al día, se necesitarían meses para producir 1000 millones de tokens.
Para acelerar el entrenamiento, OpenAI también intentó usar "datos sintéticos" generados por IA. Pero algunas investigaciones muestran que los datos generados por IA que se utilizan en un ciclo de retroalimentación para el entrenamiento de IA a veces pueden provocar errores en el modelo o generar respuestas sin sentido. Los científicos de OpenAI creen que el uso de datos generados por o1 puede evitar estos problemas.
Problemas internos y externos: OpenAI enfrenta múltiples desafíos
OpenAI no solo enfrenta desafíos técnicos, sino también inestabilidad interna y la competencia por el talento. Simultáneamente, la presión técnica y financiera está aumentando. Cada entrenamiento cuesta 500 millones de dólares, y el costo total de entrenamiento probablemente superará los 1000 millones de dólares. Mientras tanto, competidores como Anthropic y Google están lanzando nuevos modelos de última generación para intentar superar a OpenAI.
La pérdida de talento y las discrepancias internas han ralentizado aún más el desarrollo. El año pasado, la junta directiva de OpenAI despidió repentinamente a Altman, lo que llevó a algunos investigadores a cuestionar el futuro de la empresa. Aunque Altman fue rápidamente reinstalado como CEO y comenzó a reformar la estructura de gobierno de la empresa, desde entonces más de 20 altos ejecutivos, investigadores y empleados de larga data, incluidos el cofundador y científico jefe Ilya Sutskever y la directora de tecnología Mira Murati, han renunciado.
Con el estancamiento del proyecto Orion, OpenAI comenzó a desarrollar otros proyectos y aplicaciones, incluyendo una versión simplificada de GPT-4 y el producto de generación de video con IA Sora. Esto ha provocado una competencia por los recursos informáticos limitados entre los diferentes equipos, especialmente entre los equipos de desarrollo de nuevos productos y el equipo de investigación de Orion.
¿Un cuello de botella en el desarrollo de la IA? La industria necesita una reflexión profunda
La situación de GPT-5 podría revelar un problema mayor de la industria: ¿se está acercando la IA a un "cuello de botella" en su desarrollo? Los expertos del sector señalan que la estrategia de depender de grandes cantidades de datos y modelos cada vez más grandes está perdiendo eficacia. El ex científico de OpenAI, Sutskever, dijo: "Solo tenemos un internet", el crecimiento de los datos se está ralentizando y este "combustible fósil" que impulsa el avance de la IA se está agotando.
Altman aún no ha dado un cronograma claro para el futuro de GPT-5. Todavía no sabemos cuándo, o si, OpenAI lanzará un modelo que merezca ser llamado GPT-5. Esta situación con GPT-5 también ha provocado una profunda reflexión sobre el futuro del desarrollo de la IA.
