Bilibili ha anunciado la publicación de código abierto de su modelo Index-1.9B, un modelo de lenguaje de IA ligero que ha generado un gran interés. El modelo Index-1.9B incluye varias versiones, entre ellas un modelo base, un grupo de control y un modelo de conversación.
1.9B incluye:
Index-1.9B base: Modelo base, con 1.9 mil millones de parámetros (sin incrustaciones de palabras), preentrenado en un corpus de 2.8 terabytes principalmente en chino e inglés. Supera a modelos de su misma clase en varios puntos de referencia.
Index-1.9B pure: Grupo de control del modelo base. Tiene los mismos parámetros y estrategia de entrenamiento que el modelo base, pero con la diferencia de que se han filtrado estrictamente todos los datos relacionados con instrucciones del corpus. Esto permite verificar la influencia de las instrucciones en los puntos de referencia.
Index-1.9B chat: Modelo de conversación basado en Index-1.9B base, alineado mediante SFT y DPO. Debido a la inclusión de una gran cantidad de datos de comunidades en línea durante el preentrenamiento, la conversación resulta mucho más atractiva.
Index-1.9B character: Sobre la base de SFT y DPO, se ha incorporado RAG para permitir la personalización de roles con pocos ejemplos (few-shots).
Acceso al producto Index-1.9B: https://top.aibase.com/tool/index-1-9b