TinyLlama

El proyecto TinyLlama tiene como objetivo preentrenar un modelo Llama de 1.1B parámetros en 3 billones de tokens. Con algunas optimizaciones adecuadas, podemos completarlo en 'solo' 90 días usando 16 GPUs A100-40G. El entrenamiento comenzó el 1 de septiembre de 2023.

Producto ComúnChatModelo preentrenadoChat
El proyecto TinyLlama tiene como objetivo preentrenar un modelo Llama de 1.1B parámetros en 3 billones de tokens. Con algunas optimizaciones adecuadas, podemos completarlo en 'solo' 90 días usando 16 GPUs A100-40G. El entrenamiento comenzó el 1 de septiembre de 2023. Hemos adoptado la misma arquitectura y tokenizador que Llama 2. Esto significa que TinyLlama se puede utilizar en muchos proyectos de código abierto basados en Llama. Además, con solo 1.1B parámetros, su compacidad lo hace adecuado para muchas aplicaciones con limitaciones de cómputo y memoria.
Abrir sitio web

TinyLlama Situación del tráfico más reciente

Total de visitas mensuales

29742941

Tasa de rebote

44.20%

Páginas promedio por visita

5.9

Duración promedio de la visita

00:04:44

TinyLlama Tendencia de visitas

TinyLlama Distribución geográfica de las visitas

TinyLlama Fuentes de tráfico

TinyLlama Alternativas