O Alibaba DAMO Academy lançou um modelo de linguagem grande multilíngue de código abertoBabel, cujo ambicioso objetivo é preencher a lacuna linguística, permitindo que a IA compreenda e use a linguagem para se comunicar com mais de 90% da população mundial.
Atualmente, muitos modelos de linguagem grandes tendem a favorecer línguas com recursos abundantes, como inglês, francês e alemão. No entanto, assim como os falantes de línguas minoritárias raramente são mencionados em conferências globais, línguas com grandes grupos de usuários, como hindi, bengali e urdu, são frequentemente ignoradas na área de IA.
O Babel da Alibaba visa mudar essa situação. Ele suporta as 25 línguas mais faladas do mundo, cobrindo mais de 90% da população mundial. Mais impressionante ainda, o Babel também se concentra em línguas como suaíli, javanês e birmanês, raramente exploradas em LLMs de código aberto. Essa iniciativa certamente trará serviços de linguagem de IA mais convenientes e de alta qualidade para bilhões de pessoas que falam essas línguas.
Diferentemente dos métodos tradicionais de pré-treinamento contínuo, o Babel emprega uma técnica única de expansão de camadas para melhorar as capacidades do modelo. Esse método pode ser entendido como uma maneira mais sofisticada de adicionar "conhecimento" à base do modelo, melhorando o desempenho e mantendo a eficiência computacional. A equipe de pesquisa lançou dois modelos distintos: Babel-9B, otimizado para inferência e ajuste fino de GPU única eficiente; e Babel-83B, um "gigante" com 83 bilhões de parâmetros, projetado para estabelecer um novo padrão para LLMs multilíngues de código aberto.
Para verificar a capacidade do Babel, a equipe de pesquisa realizou avaliações rigorosas em várias tarefas multilíngues. Os resultados foram animadores: tanto o Babel-9B com 9 bilhões de parâmetros quanto o Babel-83B com 83 bilhões de parâmetros superaram outros modelos de código aberto de tamanho comparável em vários testes de referência. Por exemplo, o Babel teve um desempenho excelente em tarefas de conhecimento mundial (MMMLU, M3Exam), raciocínio (MGSM, XCOPA), compreensão (XNLI) e tradução (Flores-200).
É particularmente digno de nota que a precisão do Babel no processamento de línguas com poucos recursos melhorou de 5% a 10% em comparação com os LLMs multilíngues anteriores. Isso demonstra claramente que o Babel, além de melhorar a cobertura de idiomas, também se concentra no desempenho do modelo em vários idiomas.
Ainda mais surpreendente, após o ajuste fino supervisionado (SFT) em mais de um milhão de conjuntos de dados de conversação, as versões de bate-papo do Babel, Babel-9B-Chat e Babel-83B-Chat, demonstraram capacidades de conversação robustas, com desempenho comparável a alguns modelos de IA comerciais de ponta, como o Babel-83B-Chat, que em algumas tarefas já consegue competir com o GPT-4. Isso sem dúvida injetou nova vitalidade na comunidade de código aberto, provando que modelos de código aberto também podem alcançar liderança em capacidades multilíngues.
Projeto:https://babel-llm.github.io/babel-llm/
github:https://github.com/babel-llm/babel-llm
