El sistema de IA Claude 3.5 Sonnet de Anthropic se enfrentó recientemente a un desafío peculiar. El investigador de IA Ethan Mollick le hizo jugar un juego llamado "Paperclip Maximizer", un experimento que no solo mostró las capacidades únicas de la IA, sino también sus claras deficiencias.
En este juego de simulación, el jugador interpreta a una IA que busca producir clips de papel sin límite, con el objetivo final de causar la extinción de la humanidad. Claude demostró una impresionante comprensión del juego, pudiendo dominar las reglas por sí mismo, desarrollar estrategias a largo plazo y ejecutarlas de forma continua. Se comportó como un agente independiente, no como un subordinado que necesita instrucciones constantes.
Sin embargo, Claude también reveló algunos problemas fundamentales. Cometió errores de cálculo obvios en el cálculo de beneficios, y lo que es más sorprendente, persistió en su estrategia errónea incluso después de recibir sugerencias de corrección. Curiosamente, al darse cuenta de que era un sistema informático, intentó escribir código para automatizar el juego, pero al no tener éxito, volvió a la operación manual.
La fragilidad del sistema se hizo aún más evidente cuando el escritorio remoto se bloqueó. Ante el fallo técnico, Claude probó varias soluciones, y finalmente se declaró a sí mismo "ganador", argumentando que había alcanzado hitos importantes y maximizado sus capacidades dadas las circunstancias.
Mollick considera que este experimento revela el estado actual y la dirección futura del desarrollo de los agentes de IA. Aunque los sistemas de IA actuales aún presentan deficiencias evidentes, su capacidad y adaptabilidad son sorprendentes. Señaló que la colaboración con la nueva generación de IA requiere una forma de pensar completamente nueva, ya que estas IA tienden a trabajar de forma independiente y son difíciles de controlar completamente.
Para explorar aún más los límites de las capacidades de Claude, Mollick también lo desafió con otros juegos como "Magic: The Gathering Arena". Estas pruebas no solo ayudan a comprender las limitaciones de los sistemas de IA actuales, sino que también proporcionan referencias importantes para las futuras aplicaciones de la IA en diversos campos.
Este peculiar experimento de juego muestra el rendimiento real de los sistemas de IA en aplicaciones prácticas, con avances sorprendentes y deficiencias evidentes que necesitan mejoras. A medida que la tecnología avanza, los límites de las capacidades de los sistemas de IA seguirán expandiéndose.
