Llama-3 8B Instruct 262k
Modelo de generación de texto de alto rendimiento desarrollado por el equipo de Gradient AI.
Producto ComúnProductividadGeneración de textoProcesamiento de textos largos
Llama-3 8B Instruct 262k es un modelo de generación de texto desarrollado por el equipo de Gradient AI que amplía la longitud del contexto de Llama-3 8B a más de 160K, mostrando el potencial de los modelos de lenguaje grandes (SOTA) en el aprendizaje de la manipulación de textos largos. Este modelo, mediante el ajuste adecuado de los parámetros RoPE theta, junto con la interpolación NTK-aware y técnicas de optimización impulsadas por datos, logra un aprendizaje eficiente en textos largos. Además, se basa en la biblioteca EasyContext Blockwise RingAttention para permitir un entrenamiento escalable y eficiente en hardware de alto rendimiento.
Llama-3 8B Instruct 262k Situación del tráfico más reciente
Total de visitas mensuales
29742941
Tasa de rebote
44.20%
Páginas promedio por visita
5.9
Duración promedio de la visita
00:04:44