Con el rápido desarrollo de la IA generativa, la creencia tradicional de que "más grande es mejor" está cambiando. Varios científicos de IA de primer nivel han expresado recientemente que el método de mejorar el rendimiento de la IA simplemente aumentando la cantidad de datos y la potencia de cálculo se está acercando a un cuello de botella, y se están mostrando nuevas direcciones para los avances tecnológicos.
Ilya Sutskever, cofundador de Safe Superintelligence y OpenAI, publicó recientemente su opinión de que los métodos tradicionales de preentrenamiento han entrado en una fase de meseta de rendimiento. Esta afirmación es particularmente notable, ya que fue él quien abogó por los métodos de preentrenamiento a gran escala que dieron origen a ChatGPT. Ahora, dice que el campo de la IA ha pasado de la "era de la expansión a escala" a la "era de los milagros y los descubrimientos".
El entrenamiento de los grandes modelos actuales enfrenta múltiples desafíos: costos de entrenamiento que fácilmente alcanzan decenas de millones de dólares, riesgos de fallas de hardware debido a la complejidad del sistema, largos ciclos de prueba y limitaciones en los recursos de datos y el suministro de energía. Estos problemas han llevado a los investigadores a explorar nuevas vías tecnológicas.
Entre ellas, la técnica de "cálculo en tiempo de prueba" (test-time compute) ha recibido mucha atención. Este método permite que los modelos de IA generen y evalúen múltiples soluciones en tiempo real durante su uso, en lugar de proporcionar una sola respuesta. El investigador de OpenAI, Noam Brown, usó una analogía: permitir que la IA piense durante 20 segundos en una mano de cartas tiene un efecto comparable a aumentar el tamaño del modelo y el tiempo de entrenamiento en 100.000 veces.
Actualmente, varios laboratorios de IA de primer nivel, incluidos OpenAI, Anthropic, xAI y DeepMind, están desarrollando activamente sus propias versiones de esta tecnología. OpenAI ya ha aplicado esta tecnología en su último modelo "o1", y el director de producto, Kevin Weil, ha declarado que, a través de estos métodos innovadores, han visto una gran cantidad de oportunidades para mejorar el rendimiento del modelo.
Los expertos de la industria creen que este cambio en la dirección tecnológica podría remodelar el panorama competitivo de toda la industria de la IA y cambiar fundamentalmente la estructura de las necesidades de recursos de las empresas de IA. Esto marca el comienzo de una nueva etapa en el desarrollo de la IA, que se centra más en la mejora de la calidad que en la simple expansión de la escala.
