La tecnología "Infini-attention", desarrollada por Google, está diseñada para ampliar los modelos de lenguaje grandes basados en Transformer para procesar entradas de longitud ilimitada. Esto se logra mediante un mecanismo de memoria comprimida, que permite el procesamiento de entradas infinitamente largas y ofrece un rendimiento excepcional en varias tareas con secuencias largas. Los métodos incluyen un mecanismo de memoria comprimida, la combinación de atención local y a largo plazo, y la capacidad de procesamiento continuo. Los resultados experimentales muestran ventajas de rendimiento en tareas de modelado de lenguaje de contexto largo, recuperación de bloques de contexto clave y resumen de libros.