Samba
Implementación oficial de un modelo de lenguaje eficiente con contexto ilimitado
Nuevo Producto PremiumProgramaciónProcesamiento del lenguaje naturalAprendizaje automático
Samba es un modelo híbrido simple pero potente con longitud de contexto ilimitada. Su arquitectura es muy sencilla: Samba = Mamba + MLP + atención con ventana deslizante + pila de MLP jerárquicos. El modelo Samba-3.8B se entrenó con 3,2 billones de tokens en el conjunto de datos Phi3, superando significativamente a Phi3-mini en las principales pruebas de referencia (como MMLU, GSM8K y HumanEval). Samba también puede lograr una capacidad de recuperación de contexto largo con un ajuste de instrucciones mínimo, manteniendo una complejidad lineal con la longitud de la secuencia. Esto hace que Samba-3.8B-instruct destaque en tareas posteriores (como el resumen de contexto largo).
Samba Situación del tráfico más reciente
Total de visitas mensuales
474564576
Tasa de rebote
36.20%
Páginas promedio por visita
6.1
Duración promedio de la visita
00:06:34