En el contexto de la ola global de IA generativa de 2022, YuanShi Intelligence (RWKV) completó en diciembre de 2023 una ronda semilla de financiación por decenas de millones de RMB, liderada por Tianji Capital. Tras esta ronda de financiación, la valoración de la empresa se duplicó, y los fondos se destinarán a la expansión del equipo, el desarrollo de nuevas arquitecturas y la comercialización de productos.
La aparición de RWKV supone un poderoso desafío a la arquitectura tradicional de Transformer. Con el desarrollo de los modelos lingüísticos grandes (LLM), a pesar del creciente tamaño de los parámetros del modelo, las deficiencias en cuanto a alucinaciones y precisión siguen siendo difíciles de resolver. Por lo tanto, el equipo fundador de RWKV decidió explorar una arquitectura completamente nueva con el fin de lograr una mayor eficiencia y flexibilidad.
El concepto de diseño de RWKV es radicalmente diferente al de Transformer. La cofundadora, Luo Xuan, afirma que los modelos Transformer tradicionales necesitan "releer" el texto anterior cada vez que generan un token, mientras que RWKV no necesita registrar el estado de cada token, lo que reduce significativamente la carga de cálculo. RWKV, al combinar las ventajas de las RNN (redes neuronales recurrentes), ha logrado un avance en eficiencia y capacidad de modelado del lenguaje.
La ventaja de esta arquitectura innovadora radica en que RWKV puede procesar información en un espacio de estados limitado. Mediante métodos de aprendizaje por refuerzo, el modelo puede determinar automáticamente cuándo necesita revisar el texto anterior, mejorando así su capacidad de memoria. En comparación con los modelos tradicionales, RWKV ha demostrado un rendimiento superior en varias pruebas de referencia, lo que demuestra una mejora en la eficiencia del aprendizaje del lenguaje.
Actualmente, RWKV ha completado el entrenamiento de modelos de 0.1B a 14B parámetros, y ha publicado una versión preliminar de un modelo de 32B parámetros en la comunidad internacional. En el futuro, YuanShi Intelligence planea lanzar en 2025 RWKV-7 con 70B o más parámetros, y explorar nuevos marcos de inferencia y chips para mejorar aún más el rendimiento del modelo.
En cuanto a los negocios, RWKV no solo ofrece proyectos de código abierto, sino que también está impulsando activamente su expansión comercial, incluyendo la generación de música con IA y colaboraciones con empresas. Ya ha establecido colaboraciones con empresas como la Red Eléctrica Estatal. Con el desarrollo tecnológico y el avance de la comercialización, RWKV aspira a convertirse en el "Android y Linux" del sector de los modelos grandes.
