Extensor de Contexto LLM es una herramienta diseñada para ampliar la ventana de contexto de los modelos lingüísticos grandes (LLM). Logra esto ajustando la frecuencia base de RoPE y escalando los logits de atención, permitiendo a los LLM adaptarse eficazmente a ventanas de contexto más grandes. La herramienta ha verificado la superioridad de su método en cuanto a rendimiento y robustez, demostrando una eficiencia excepcional al ampliar la ventana de contexto de LLaMA-2-7B-Chat a 16,384 con solo 100 muestras y 6 pasos de entrenamiento. Además, se explora cómo la composición de los datos y el plan de entrenamiento afectan la ampliación de la ventana de contexto para tareas específicas, sugiriendo el ajuste fino de los LLM con conversaciones largas como un buen punto de partida.