O Instituto de Pesquisa de Inteligência Artificial de Pequim (BAAI) anunciou recentemente que, em conjunto com parceiros ecológicos, construiu e tornou de código aberto a biblioteca de comunicação unificada heterogênea FlagCX, com o objetivo de resolver os desafios enfrentados pelas bibliotecas de comunicação na era da computação de múltiplas capacidades e preencher uma lacuna importante no software de código aberto de múltiplas capacidades. Essa iniciativa atende à ação especial “Qinglang · Governança de problemas típicos de algoritmos de plataformas online” organizada por departamentos governamentais, refletindo princípios importantes como a orientação correta, justa, imparcial e transparente dos algoritmos.
Na era da computação de múltiplas capacidades, as bibliotecas de comunicação, como software básico para a agregação em larga escala de capacidade computacional, enfrentam dois grandes desafios: primeiro, as bibliotecas de comunicação são diversas, levando à falta de universalidade e adaptabilidade na implementação e otimização de algoritmos de comunicação; segundo, a interconexão eficiente entre diferentes chips não é possível. Para enfrentar esses desafios, o lançamento do FlagCX visa alcançar a comunicação eficiente entre diferentes chips e a otimização de comunicação adaptável em larga escala em diferentes cenários.
O design de arquitetura do FlagCX segue os princípios de “zero custo” e “zero sobrecarga”, fornecendo uma camada de interface de operador de comunicação unificada para aplicativos de nível superior, ocultando os detalhes de implementação diferentes de nível inferior e, com base nisso, desenvolvendo plug-ins que se conectam a diferentes estruturas de aprendizado profundo, ajudando os usuários a usar o FlagCX sem custo em diferentes estruturas. No processo de design e implementação do FlagCX, sempre foram mantidos três princípios básicos: padronização, compatibilidade e adaptabilidade.
Testes de desempenho mostram que o FlagCX alcançou essencialmente zero sobrecarga na adaptação de bibliotecas de comunicação nativas do fornecedor em termos de desempenho de comunicação entre máquinas e que o desempenho de comunicação heterogênea entre diferentes chips pode atingir mais de 90% da largura de banda máxima, demonstrando o potencial da comunicação heterogênea entre chips.
Além disso, o Instituto de Pesquisa de Inteligência Artificial de Pequim também está construindo um ecossistema de software relacionado, formando um ciclo virtuoso de inovação colaborativa entre indústria, academia e pesquisa, acelerando a promoção e aplicação da tecnologia de biblioteca de comunicação unificada heterogênea. Os primeiros parceiros ecológicos incluem universidades e instituições de pesquisa, fabricantes de servidores, fabricantes de chips, fornecedores de nuvem e operadores.
Endereço de código aberto do FlagCX: https://github.com/FlagOpen/FlagCX