O artigo analisa detalhadamente a demanda de poder computacional de modelos de linguagem grandes com centenas de bilhões de parâmetros. Tomando como exemplo o modelo de linguagem chinês Yuan 1.0, desenvolvido pela Inspur, que utiliza 266 servidores A100 com 8 placas de vídeo cada, com eficiência de cálculo de 44% por placa, e emprega uma estratégia de paralelismo tridimensional combinando paralelismo de tensor, paralelismo de pipeline e paralelismo de dados. O artigo argumenta que, para melhorar o desempenho de grandes modelos, são necessárias otimizações em diversos aspectos, incluindo estrutura, E/S e comunicação. Em comparação com o GPT-4, os grandes modelos domésticos ainda apresentam uma grande lacuna em termos de poder computacional, algoritmos e dados. É necessário continuar investindo fortemente em pesquisa e desenvolvimento tecnológico para melhorar o desempenho desses modelos.