Recentemente, a Zyphra lançou oficialmente o Zamba2-7B, um modelo de linguagem pequeno com desempenho sem precedentes, com 7 bilhões de parâmetros.
Este modelo afirma superar seus concorrentes atuais em termos de qualidade e velocidade, incluindo o Mistral-7B, o Gemma-7B do Google e o Llama3-8B do Meta.
O Zamba2-7B foi projetado para atender a ambientes que precisam de um poderoso processamento de linguagem, mas com restrições de hardware, como processamento em dispositivos ou uso de GPUs de consumo. Ao aumentar a eficiência sem sacrificar a qualidade, a Zyphra espera que uma gama mais ampla de usuários, sejam empresas ou desenvolvedores individuais, possam desfrutar da conveniência da IA avançada.
O Zamba2-7B apresenta muitas inovações arquitetônicas que melhoram a eficiência e a capacidade expressiva do modelo. Diferentemente do modelo de geração anterior, Zamba1, o Zamba2-7B emprega dois blocos de atenção compartilhados, um design que lida melhor com o fluxo de informações e as dependências entre sequências.
Os blocos Mamba2 formam o núcleo da arquitetura, resultando em uma utilização de parâmetros mais eficiente em comparação com os modelos Transformer tradicionais. Além disso, a Zyphra usou projeções LoRA (Low-Rank Adaptation) nos blocos MLP compartilhados, o que melhora ainda mais a adaptabilidade de cada camada, mantendo a compacidade do modelo. Graças a essas inovações, o tempo de resposta inicial do Zamba2-7B foi reduzido em 25%, e o número de tokens processados por segundo aumentou em 20%.
A eficiência e a adaptabilidade do Zamba2-7B foram rigorosamente testadas e validadas. O modelo foi pré-treinado em um enorme conjunto de dados contendo três trilhões de tokens, todos de alta qualidade e selecionados cuidadosamente de dados abertos.
Além disso, a Zyphra introduziu uma fase de pré-treinamento de "resfriamento", reduzindo rapidamente a taxa de aprendizado para processar tokens de alta qualidade de forma mais eficiente. Essa estratégia permitiu que o Zamba2-7B obtivesse excelentes resultados em testes de referência, superando os concorrentes em velocidade e qualidade de inferência, sendo adequado para tarefas de compreensão e geração de linguagem natural, sem os recursos computacionais massivos exigidos por modelos tradicionais de alta qualidade.
O Zamba2-7B representa um avanço significativo nos modelos de linguagem pequenos, combinando alta qualidade e desempenho com um foco especial na acessibilidade. Por meio de um design arquitetônico inovador e técnicas de treinamento eficientes, a Zyphra criou um modelo fácil de usar e capaz de atender às diversas necessidades de processamento de linguagem natural. O lançamento de código aberto do Zamba2-7B convida pesquisadores, desenvolvedores e empresas a explorarem seu potencial, com a expectativa de impulsionar o desenvolvimento do processamento avançado de linguagem natural em uma comunidade mais ampla.
Acesso ao projeto: https://www.zyphra.com/post/zamba2-7b
https://github.com/Zyphra/transformers_zamba2
Destaques:
🌟 O Zamba2-7B é um novo modelo de linguagem pequeno da Zyphra, com 7 bilhões de parâmetros e desempenho superior a vários concorrentes.
⚙️ Emprega arquitetura inovadora e tecnologia LoRA, resultando em melhorias significativas na eficiência e adaptabilidade.
📊 Após testes rigorosos, o Zamba2-7B demonstrou desempenho superior em velocidade e qualidade em tarefas de processamento de linguagem natural.