O Instituto de Inovação Tecnológica (TII), apoiado pelo governo dos Emirados Árabes Unidos, anunciou recentemente o lançamento de sua nova geração de modelos de linguagem pequenos de código aberto (SLM) - a série Falcon3. Esta série inclui quatro modelos de diferentes tamanhos: 1B, 3B, 7B e 10B, e oferece variantes básicas e de instruções, com o objetivo de fornecer aos desenvolvedores, pesquisadores e empresas uma solução de IA eficiente e de baixo custo. O lançamento desses modelos marca uma maior democratização das funcionalidades de IA, podendo funcionar em infraestruturas de GPU leves, atendendo às necessidades de dispositivos e cenários de aplicação com recursos computacionais limitados.
Fonte: Imagem gerada por IA, provedor de serviços de licenciamento de imagens Midjourney
O desempenho do Falcon3 se destacou no ranking Hugging Face, superando modelos de código aberto de tamanho semelhante, como o Llama do Meta e o Qwen-2.5. Em particular, as versões 7B e 10B demonstraram vantagens tecnológicas líderes em velocidade de inferência, compreensão da linguagem, execução de instruções e tarefas de código e matemática, superando até mesmo concorrentes como Google, Meta e Alibaba em vários testes de referência.
Em comparação com os modelos de linguagem grandes (LLM) tradicionais, os modelos SLM, devido aos seus menores parâmetros e design mais conciso, apresentam vantagens de eficiência e baixo custo, sendo particularmente adequados para aplicações em áreas como atendimento ao cliente, saúde e Internet das Coisas (IoT). De acordo com dados da empresa de pesquisa de mercado Valuates Reports, espera-se que o mercado de SLM apresente um crescimento anual médio de 18% nos próximos cinco anos.
O conjunto de dados de treinamento da série Falcon3 atingiu 14 trilhões de tokens, mais do que o dobro de seu predecessor, o Falcon2. A série adotou uma arquitetura de decodificador apenas e um mecanismo de atenção de consulta agrupada, minimizando o uso de memória e melhorando a eficiência da inferência. O Falcon3 suporta quatro idiomas: inglês, francês, espanhol e português, e possui uma janela de contexto de 32K, capaz de processar textos de entrada longos, atendendo às necessidades de diversos setores.
O TII afirma que o modelo básico do Falcon3 é adequado para tarefas gerais, enquanto a versão com instruções é otimizada para tarefas de conversação, como atendimento ao cliente e assistentes virtuais. O lançamento desta série impulsionará ainda mais o desenvolvimento de computação de borda e aplicativos sensíveis à privacidade, suportando cenários como recomendações personalizadas, análise de dados, diagnóstico médico e otimização da cadeia de suprimentos.
Todos os modelos Falcon3 são lançados sob a licença TII Falcon License 2.0, uma licença ampla baseada em Apache 2.0, que suporta o desenvolvimento e implantação responsáveis de IA. Para ajudar os desenvolvedores e pesquisadores a começar, o TII também lançou o ambiente de teste Falcon Playground, onde os usuários podem testar os modelos antes de integrá-los.