TinyLlama
El proyecto TinyLlama tiene como objetivo preentrenar un modelo Llama de 1.1B parámetros en 3 billones de tokens. Con algunas optimizaciones adecuadas, podemos completarlo en 'solo' 90 días usando 16 GPUs A100-40G. El entrenamiento comenzó el 1 de septiembre de 2023.
Producto ComúnChatModelo preentrenadoChat
El proyecto TinyLlama tiene como objetivo preentrenar un modelo Llama de 1.1B parámetros en 3 billones de tokens. Con algunas optimizaciones adecuadas, podemos completarlo en 'solo' 90 días usando 16 GPUs A100-40G. El entrenamiento comenzó el 1 de septiembre de 2023. Hemos adoptado la misma arquitectura y tokenizador que Llama 2. Esto significa que TinyLlama se puede utilizar en muchos proyectos de código abierto basados en Llama. Además, con solo 1.1B parámetros, su compacidad lo hace adecuado para muchas aplicaciones con limitaciones de cómputo y memoria.
TinyLlama Situación del tráfico más reciente
Total de visitas mensuales
29742941
Tasa de rebote
44.20%
Páginas promedio por visita
5.9
Duración promedio de la visita
00:04:44