L'Institut de recherche sur l'intelligence artificielle de Beijing (BAAI) a récemment annoncé avoir collaboré avec ses partenaires écosystémiques pour construire et mettre en open source FlagCX, une bibliothèque de communication unifiée hétérogène. Son objectif est de relever les défis posés aux bibliothèques de communication à l'ère du calcul polymorphe et de combler une lacune importante dans la pile logicielle open source pour le calcul polymorphe. Cette initiative répond à l'opération spéciale « Qinglang · Gouvernance des problèmes types des algorithmes des plateformes en ligne » organisée par les organismes gouvernementaux compétents, et reflète les principes importants d'orientation algorithmique correcte, d'équité, de justice, et de transparence.
À l'ère du calcul polymorphe, les bibliothèques de communication, en tant que logiciels de base pour l'agrégation à grande échelle de la puissance de calcul, sont confrontées à deux grands défis : premièrement, la diversité des bibliothèques de communication entraîne un manque d'universalité et d'adaptabilité dans la mise en œuvre et l'optimisation des algorithmes de communication ; deuxièmement, l'interconnexion efficace entre différents types de puces est impossible. Pour relever ces défis, FlagCX vise à permettre une communication efficace entre différentes puces et une optimisation de la communication adaptative à grande échelle dans différents scénarios.
La conception de l'architecture de FlagCX suit les principes de « zéro surcharge » et de « zéro coût ». Elle fournit une couche d'interface d'opérateurs de communication unifiée pour les applications de niveau supérieur, masquant les détails d'implémentation sous-jacents. Des plugins permettant la connexion à différents frameworks d'apprentissage profond ont été développés sur cette base, permettant aux utilisateurs d'utiliser FlagCX sans aucun coût supplémentaire dans différents frameworks. La conception et la mise en œuvre de FlagCX respectent constamment trois principes fondamentaux : standardisation, compatibilité et adaptabilité.
Les tests de performance montrent que FlagCX atteint une surcharge pratiquement nulle lors de l'adaptation des bibliothèques de communication natives des fabricants pour la communication inter-machines, et que les performances de communication hétérogène entre différentes puces peuvent atteindre plus de 90 % de la bande passante maximale, démontrant ainsi le potentiel de la communication hétérogène inter-puces.
En outre, l'Institut de recherche de Zhiyuan est en train de construire un écosystème logiciel pertinent, afin de créer un cycle vertueux d'innovation collaborative entre les milieux académiques, industriels et de recherche, et d'accélérer la promotion et l'application de la bibliothèque de communication unifiée hétérogène. Les premiers partenaires écosystémiques comprennent des universités et des instituts de recherche, des fabricants de serveurs, des fabricants de puces, ainsi que des fournisseurs de services cloud et des opérateurs.
Adresse du dépôt Git de FlagCX : https://github.com/FlagOpen/FlagCX
