AnyGPT es un modelo de lenguaje grande multimodal unificado que utiliza representaciones discretas para el procesamiento unificado de diversos modos, incluyendo voz, texto, imágenes y música. AnyGPT puede entrenarse de forma estable sin alterar la arquitectura o el paradigma de entrenamiento del modelo de lenguaje grande actual. Se basa completamente en el preprocesamiento de datos, facilitando la integración perfecta de nuevas modalidades en el modelo de lenguaje, similar a la adición de nuevos idiomas. Hemos construido un conjunto de datos multimodales centrado en el texto para el preentrenamiento de alineación multimodal. Utilizando modelos generativos, hemos sintetizado el primer conjunto de datos de instrucciones multimodales de gran escala arbitrario a arbitrario. Este conjunto consta de 108.000 ejemplos de diálogo multironda, con múltiples modalidades entrelazadas, permitiendo que el modelo procese combinaciones arbitrarias de entradas y salidas multimodales. Los resultados experimentales muestran que AnyGPT puede facilitar el diálogo multimodal arbitrario a arbitrario, alcanzando al mismo tiempo un rendimiento comparable a los modelos especializados en todos los modos, lo que demuestra que las representaciones discretas pueden unificar de manera eficiente y conveniente múltiples modalidades en los modelos de lenguaje.