Noam Brown, jefe de investigación de razonamiento de inteligencia artificial en OpenAI, declaró recientemente en un panel de discusión en la conferencia GTC de Nvidia que ciertas formas de modelos de IA de "razonamiento" podrían haber aparecido 20 años antes si los investigadores "hubieran conocido el método y los algoritmos correctos". Señaló que existen varias razones por las que esta línea de investigación se pasó por alto.
Brown recordó su experiencia en la investigación de IA de juegos en la Universidad Carnegie Mellon, incluyendo Pluribus, que derrotó a jugadores profesionales de póquer humanos de primer nivel. Dijo que la singularidad de la IA que ayudó a crear fue su capacidad para "razonar" para resolver problemas, en lugar de depender del cálculo puramente bruto. Brown mencionó que los humanos pasan mucho tiempo pensando en situaciones difíciles, lo que podría ser muy beneficioso para la inteligencia artificial.
Brown también es uno de los arquitectos del modelo de IA o1 de OpenAI. Este modelo utiliza una técnica llamada "razonamiento en tiempo de prueba", que le permite "pensar" antes de responder a las consultas. El razonamiento en tiempo de prueba impulsa una forma de "razonamiento" aplicando cálculos adicionales al modelo en ejecución. En general, los llamados modelos de razonamiento son más precisos y confiables que los modelos tradicionales, especialmente en campos como las matemáticas y la ciencia.
En el panel de discusión, cuando se le preguntó si el mundo académico aún podría realizar experimentos a la escala de OpenAI, dada la escasez generalizada de recursos computacionales en las universidades, Brown admitió que esto se ha vuelto más difícil en los últimos años, a medida que la demanda de recursos computacionales de los modelos ha aumentado. Sin embargo, también señaló que el mundo académico puede desempeñar un papel importante explorando áreas con menores requisitos computacionales, como el diseño de la arquitectura del modelo.
Brown enfatizó que existen oportunidades de colaboración entre los laboratorios de vanguardia y el mundo académico. Dijo que los laboratorios de vanguardia prestan atención a las publicaciones académicas, evaluando cuidadosamente si los argumentos presentados son lo suficientemente convincentes, es decir, si la investigación sería muy efectiva si se escalara. Si un artículo presenta argumentos convincentes, estos laboratorios investigarán más a fondo.
Además, Brown mencionó específicamente el campo de las pruebas de referencia de IA, argumentando que el mundo académico puede desempeñar un papel importante en él. Criticó el estado actual de las pruebas de referencia de IA como "muy malo", señalando que estas pruebas a menudo evalúan el conocimiento profundo, cuya puntuación tiene poca correlación con la competencia en las tareas que preocupan a la mayoría de las personas, lo que lleva a una amplia confusión sobre las capacidades y mejoras de los modelos. Brown cree que mejorar las pruebas de referencia de IA no requiere grandes recursos computacionales.
Cabe destacar que, en esta discusión, los comentarios iniciales de Brown se referían a su trabajo de investigación en IA de juegos, como Pluribus, antes de unirse a OpenAI, y no a modelos de razonamiento como o1.
Puntos clave:
- 🤔 Noam Brown de OpenAI cree que la IA de "razonamiento" podría haber aparecido 20 años antes si se hubiera encontrado el método correcto antes, y que la investigación anterior se pasó por alto.
- 🤝 Brown enfatiza que existen oportunidades de colaboración entre el mundo académico y los laboratorios de IA de vanguardia, y que el mundo académico puede desempeñar un papel importante en áreas con baja demanda computacional, como el diseño de la arquitectura del modelo y las pruebas de referencia de IA.
- 📈 Los modelos de razonamiento que utilizan técnicas como el "razonamiento en tiempo de prueba" son más precisos y confiables que los modelos tradicionales, especialmente en los campos de las matemáticas y la ciencia.
