El Instituto de Investigación de Inteligencia Artificial de Beijing (BAAI) anunció recientemente que, en colaboración con socios ecológicos, ha construido y lanzado de código abierto la biblioteca de comunicación unificada heterogénea FlagCX. Su objetivo es abordar los desafíos que enfrentan las bibliotecas de comunicación en la era de la computación diversificada, llenando un vacío importante en el conjunto de software de código abierto para computación diversificada. Esta iniciativa responde a la campaña organizada por los organismos gubernamentales pertinentes, "Qinglang · Gobernanza de problemas típicos de algoritmos de plataformas en línea", y refleja los importantes principios de orientación algorítmica correcta, imparcialidad, justicia y transparencia.
En la era de la computación diversificada, las bibliotecas de comunicación, como software básico para la agregación a gran escala de potencia de cálculo, enfrentan dos grandes desafíos: primero, la diversidad de bibliotecas de comunicación lleva a que la implementación y optimización de los algoritmos de comunicación carezcan de universalidad y adaptabilidad; segundo, la incapacidad de lograr una interconexión eficiente entre diferentes chips. Para hacer frente a estos desafíos, el lanzamiento de FlagCX tiene como objetivo lograr una comunicación eficiente entre diferentes chips y una optimización de comunicación adaptable a gran escala en diferentes escenarios.
El diseño de la arquitectura de FlagCX sigue los principios de "cero gastos generales" y "cero costo", proporcionando a las aplicaciones de nivel superior una capa de interfaz de operadores de comunicación unificada, ocultando los detalles de implementación subyacentes. Sobre esta base, se desarrollan complementos para conectar diferentes marcos de aprendizaje profundo, ayudando a los usuarios a utilizar FlagCX sin costo alguno en diferentes marcos. En el proceso de diseño e implementación de FlagCX, siempre se han mantenido los tres principios básicos de estandarización, compatibilidad y adaptabilidad.
Las pruebas de rendimiento muestran que FlagCX, en el rendimiento de la comunicación entre máquinas, ha logrado una adaptación a las bibliotecas de comunicación nativas del fabricante con prácticamente cero gastos generales, y el rendimiento de la comunicación heterogénea entre diferentes chips puede alcanzar más del 90% del ancho de banda máximo, mostrando el potencial de la comunicación heterogénea entre chips.
Además, el Instituto de Investigación de Inteligencia Artificial de Beijing también está construyendo un ecosistema de software relacionado, formando un ciclo virtuoso de innovación colaborativa entre la industria, la academia y la investigación, para acelerar la promoción y aplicación de la tecnología de bibliotecas de comunicación unificada heterogénea. Los primeros socios ecológicos incluyen universidades e instituciones de investigación, fabricantes de servidores, fabricantes de chips, proveedores de servicios en la nube y operadores.
Dirección de código abierto de FlagCX: https://github.com/FlagOpen/FlagCX