Beijing Zhihu Hua Zhang Technology Co., Ltd. anunció recientemente que abrirá gratuitamente al público la interfaz de API de su modelo de lenguaje grande GLM-4-Flash, con el objetivo de promover la popularización y aplicación de la tecnología de modelos grandes.
El modelo GLM-4-Flash muestra ventajas significativas en velocidad y rendimiento, especialmente en la velocidad de inferencia. Mediante la adopción de medidas de optimización como la cuantificación adaptativa de pesos, el procesamiento paralelo, las estrategias de procesamiento por lotes y el muestreo especulativo, ha logrado una velocidad estable de hasta 72.14 tokens/s, un rendimiento destacado entre modelos similares.
En cuanto a la optimización del rendimiento, el modelo GLM-4-Flash utilizó 10 TB de datos multilingües de alta calidad durante la fase de preentrenamiento. Esto permite que el modelo no solo maneje tareas como diálogos de varias rondas, búsqueda web y llamadas a herramientas, sino que también admita la inferencia de textos largos, con una longitud de contexto máxima de 128K. Además, el modelo admite 26 idiomas, incluyendo chino, inglés, japonés, coreano, alemán, etc., mostrando su potente capacidad multilingüe.
Para satisfacer las necesidades específicas de los diferentes usuarios, Zhihu AI también ofrece una función de ajuste fino del modelo, ayudando a los usuarios a adaptar mejor el modelo GLM-4-Flash a diversas aplicaciones. Esta iniciativa de Zhihu AI tiene como objetivo permitir que un grupo más amplio de usuarios experimente y utilice la tecnología avanzada de modelos grandes, ampliando aún más los límites de aplicación de la IA.
Dirección de la interfaz: https://open.bigmodel.cn/dev/api#glm-4
