No campo da IA, uma nova força está surgindo. O Instituto de Inovação Tecnológica de Abu Dhabi (TII) anunciou o lançamento em código aberto de seu novo modelo de linguagem grande, o Falcon2, um modelo com 11 bilhões de parâmetros que chamou a atenção global por seu desempenho excepcional e capacidades multilínguas.
O Falcon2 possui duas versões: uma versão básica, fácil de implantar, capaz de gerar texto, código e resumos; e um modelo VLM (Visual Language Model) com recursos de conversão visual, capaz de transformar informações de imagens em texto, algo extremamente raro em modelos de linguagem grandes de código aberto. Em vários rankings de testes de benchmark, o Falcon2 11B superou o Llama 38B do Meta e ficou empatado em primeiro lugar com o Gemma 7B do Google, demonstrando seu desempenho excepcional.
Observação da fonte: Imagem gerada por IA, provedor de serviços de licenciamento de imagens Midjourney
A capacidade multilíngue do Falcon2 11B permite que ele processe facilmente tarefas em várias línguas, incluindo inglês, francês, espanhol, alemão e português, aumentando seu potencial de aplicação em diferentes cenários. Como um modelo de linguagem grande visual, o Falcon2 11B VLM possui amplo potencial de aplicação em setores como saúde, finanças, comércio eletrônico, educação e direito, podendo identificar e interpretar imagens e conteúdo visual no ambiente.
O Falcon2 11B foi pré-treinado em mais de 5,5 trilhões de tokens de dados em seu conjunto de dados de código aberto RefinedWeb. Este conjunto de dados é de alta qualidade, filtrado e desduplicado. O TII o aprimorou por meio de uma seleção cuidadosa de materiais e adotou uma estratégia de treinamento em quatro fases para melhorar a capacidade de compreensão de contexto do modelo.
Vale ressaltar que o Falcon2 é um modelo de linguagem grande de alto desempenho e baixo consumo, podendo ser executado de forma eficiente com apenas uma GPU. Isso o torna altamente escalável, fácil de implantar e integrável até mesmo em dispositivos leves, como laptops. Isso oferece grande conveniência para pequenas e médias empresas e desenvolvedores individuais, permitindo o uso comercial.
O Dr. Hakim Hacid, Diretor Executivo do Centro de Inteligência Artificial Transversal e Diretor de Pesquisa Interino do TII, afirmou que, com a evolução da tecnologia de IA generativa, os desenvolvedores reconhecem as vantagens dos modelos menores, incluindo a redução da necessidade de recursos computacionais, o atendimento aos padrões de sustentabilidade e o aumento da flexibilidade.
Em maio de 2023, o TII lançou em código aberto o modelo de linguagem grande Falcon-40B, que ocupou o primeiro lugar no ranking de modelos de linguagem grandes de código aberto do Hugging Face, superando uma série de modelos de código aberto renomados. O Falcon-40B foi treinado em um conjunto de dados de 1 trilhão de tokens e pode ser usado para perguntas e respostas de texto, resumos, geração automática de código, tradução de idiomas etc., suportando ajustes finos para cenários de negócios específicos.
Fundado em 2020, o TII é uma instituição de pesquisa subordinada ao Departamento de Educação Superior e Ciência de Abu Dhabi, com o objetivo de promover a pesquisa científica, desenvolver tecnologias de ponta e comercializá-las para promover o desenvolvimento econômico de Abu Dhabi e dos Emirados Árabes Unidos. O TII atualmente conta com mais de 800 especialistas em pesquisa de 74 países, publicou mais de 700 artigos e mais de 25 patentes, sendo uma das principais instituições de pesquisa científica do mundo.
O lançamento em código aberto do Falcon2 não é apenas um compromisso do TII com o compartilhamento de tecnologia, mas também uma ousadia na exploração do futuro desenvolvimento da IA. O Falcon2 de código aberto resultará em redução da necessidade de recursos computacionais, atendimento aos padrões de sustentabilidade e aumento da flexibilidade, integrando-se perfeitamente à crescente tendência de infraestrutura de IA de ponta.
Endereço do modelo: https://huggingface.co/tiiuae/falcon-11B
