Las empresas de modelos grandes están intensificando la investigación y el desarrollo de la capacidad de procesamiento de "textos largos", pero el verdadero desafío radica en cómo superar las limitaciones de la arquitectura Transformer. Esta tendencia aportará aplicaciones más profundas a los campos de las finanzas, la justicia y la investigación científica.