PARTNR es un benchmark a gran escala publicado por Meta FAIR, que contiene 100.000 tareas en lenguaje natural, diseñado para investigar la planificación e inferencia multiagente. PARTNR utiliza modelos de lenguaje grandes (LLMs) para generar tareas y reduce los errores mediante bucles de simulación. También admite la evaluación de agentes de IA con socios humanos reales, mediante una infraestructura de bucle humano. PARTNR revela limitaciones significativas en los planificadores basados en LLM existentes en cuanto a la coordinación de tareas, el seguimiento y la recuperación de errores. Los humanos pueden resolver el 93% de las tareas, mientras que los LLM solo resuelven el 30%.