AnyGPT é um modelo de linguagem grande multi-modal unificado que utiliza representações discretas para o processamento unificado de vários modos, incluindo voz, texto, imagens e música. O AnyGPT pode ser treinado de forma estável sem alterar a arquitetura atual do modelo de linguagem grande ou o paradigma de treinamento. Ele depende totalmente do pré-processamento de dados, facilitando a integração perfeita de novos modos no modelo de linguagem, semelhante à adição de novas linguagens. Construímos um conjunto de dados multi-modal centrado em texto para pré-treinamento de alinhamento multi-modal. Usando modelos geradores, sintetizamos o primeiro conjunto de dados de instruções multi-modal de qualquer para qualquer em larga escala. Ele consiste em 108.000 exemplos de diálogos multiturnos, com vários modos entrelaçados, permitindo que o modelo processe qualquer combinação de entrada e saída multi-modal. Os resultados experimentais mostram que o AnyGPT pode promover diálogos multi-modais de qualquer para qualquer, alcançando simultaneamente desempenho comparável a modelos especializados em todos os modos, demonstrando que as representações discretas podem unificar eficaz e convenientemente vários modos em modelos de linguagem.